产品3周迭代一次,启信宝驾驭8000万企业征信的平台架构

简介: 启信宝的企业数据范围广、维度多,覆盖8000万以上的企业, 19个产业链,95个细分行业,100个以上企业数据维度,企业覆盖率达98%以上。
11+大数据行业应用实践请见 https://yq.aliyun.com/activity/156 ,同时这里还有流计算、机器学习、性能调优等技术实践。 此外,通过 Maxcompute及其配套产品 ,低廉的大数据分析仅需几步,详情访问 https://www.aliyun.com/product/odps ;更多精彩内容参见 云栖社区大数据频道 https://yq.aliyun.com/big-data  。

启信宝的核心功能包括搜索引擎、企业链图、关系族谱、企业监控、企业舆情以及企业信用报告等。启信宝目前支持APP、网页以及微信三种不同版本,另外还提供API调用方式。客户主要面向个人客户和企业客户,目前个人用户数已达到800万以上,企业客户以金融行业为主。

启信宝的大数据平台挑战

启信宝作为一家以大数据为核心竞争力的公司,借助大数据为客户降低执业风险、经营风险、投资风险和借贷风险,为客户提供数据解决方案以进行精准营销、拓客展业,为客户借贷管理、投资理财提供决策依据。主要面临的挑战为:

1.高时效性。作为一家成立时间较短的企业,为了不断满足客户新的需求以及提升客户体验,并快速确立市场领先地位,产品的迭代需要非常快速,基本上三周以内会迭代一次,而且通过每一次的迭代在数据上、挖掘上都需要有一些可以打动客户的亮点,这就要求采用的大数据平台能够满足时效性的需要。

2.低成本。作为创业公司,不仅对时效性有很高要求,成本也是重要的考量因素,需要以采用的大数据平台能够支撑快速、高效、低成本的产品迭代。

3.数据处理量巨大、对数据变化的实时性要求高。目前,启信宝仅日志数据的数据量已达到TB级别,每天会对日志数据进行几十个任务的调度处理来进行日志分析。另外,舆情方面的数据实时性要求较高,需要实时处理及更新并能够实时进行内容多维查询和统计分析。

4.可扩展性。作为一家数据公司,需要大数据平台能够应对未来极有可能发生的的数据量的爆发式增长,架构可伸缩,弹性的满足需要,避免不必要的IT费用。另外,未来启信宝将会在大数据采集和挖掘上持续发力,在企业信用信息展示的前提下,同时注重挖掘企业背后的舆情信息及商业关系,这就需要大数据平台的功能可扩展,既可以满足数据采集处理、可视化报表展示、多维分析等基本需求,也可以满足预测分析、机器学习及人工智能等方面的高阶分析需求。

5.数据融合工作的复杂性。启信宝的数据来源非常丰富,因此需要跟周边各种数据源打通。举个例子,有些大数据项目真正进行开发算法、模型的时间会很短,大概一两天左右就可以完成,但这往往仅为“冰山一角”,实际上,由于数据兼容性问题,数据准备工作异常繁杂,可能会用到一周甚至更长的时间。难怪最近纽约时报惊呼:“数据科学家把高达 80%的时间用于数据准备而不是用来发现新的商业智能”。

启信宝的大数据平台方案

启信宝作为垂直企业信息搜索平台,立足于企业征信信息的披露,基于海量大数据,为泛金融、泛投资、泛法律和商务用户提供企业信息画像、风险管理、营销决策等可量化数据服务,以客户为中心,让数据说话,让商业更真实。启信宝基于阿里云数加平台进行数据的整理和分析。
  1. 主要数据来源:互联网采集的数据以及API调用的第三方的企业数据。
  2. 数据处理分析:应用数据采集到阿里云存储容器,通过数加平台进行二次加工处理,最终同步到阿里云存储容器中进行数据展现分析。
  3. 应用层:支撑企业图谱、企业监控、深度报告、搜索引擎等不同产品形态。

方案涉及的阿里云数加平台组件有:
  1. 大数据计算服务(MaxCompute)
  2. 大数据开发套件(DataIDE)
  3. 分析型数据库(AnalyticDB)

启信宝云平台选择思考

1. 阿里云数加和基础云服务平台的敏捷性很好的支撑了启信宝产品的快速迭代。启信宝的第一个版本微信版本于2015年5月初上线,到现如今启信宝已上线APP版、Web版,同时还支持API外接,业务也做了相应扩充,分别面向个人和企业客户,通过客户需求不断的推进和拓展,期间经历了大量的小版本迭代。目前,2C的业务,客户反馈较好、活跃度较高,反映在是使用时长等各方面;2B业务,结合行业应用场景以及启信宝自身数据,正在不断提供一些更好的行业解决方案。启信宝创始人金志浩说:“从2015年开始,启信宝伴随着阿里云一起高速发展,通过阿里云产品的使用,确实能帮我们节省很多时间,要不然我们全部自己搞定,时间周期太长,自建的话时效性根本跟不上。”

2. 使用阿里云数加,成本大大降低。“阿里云数加的整个数据处理流程非常完善;其次,我觉得这一块的成本会比较便宜,而且可以节省我们大量的人力,这也是很重要的一块;另外,售后技术服务周到快速也是我们选择阿里云数加的原因之一。”创始人金志浩谈到为什么选择阿里云数加时讲到。

3. 阿里云数加的按需付费模式以及产品功能完备性,使得启信宝对未来快速发展更具信心。阿里云完全满足启信宝未来数据吞吐量和可扩展性的需要,阿里云数加包含大数据基础服务、数据分析与展现、数据应用以及人工智能的大数据全链路产品,经过阿里内部锤炼和业务验证,可以支撑EB级数据海量处理。

4. 阿里云的大数据产品生态具有完备性和开放性两大特点,打破数据融合瓶颈,大大提升了产品开发效率。阿里云提供四通八达的数据传输交互服务,让数据不再成为孤岛,加速数据融合。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
SQL NoSQL 前端开发
基于BS架构的饰品购物平台设计与实现(程序+文档+数据库)
基于BS架构的饰品购物平台设计与实现(程序+文档+数据库)
|
2月前
|
人工智能 监控 安全
java基于微服务架构的智慧工地监管平台源码带APP
劳务管理: 工种管理、分包商管理、信息采集、班组管理、花名册、零工采集、 现场统计、考勤管理、考勤明细、工资管理、零工签证
287 4
|
4月前
|
前端开发 JavaScript Android开发
打算一个卡片记忆软件,全平台架构如何选型?
打算一个卡片记忆软件,全平台架构如何选型?
|
6月前
|
运维 前端开发 搜索推荐
大象转身-平台架构如何拥抱业务创新
如果你正在负责一个超大复杂型平台(比如电商、支付、物流)的架构师,且面临各种技术负债(比如架构复杂性、团队协同复杂性),同时业务又面临从平台服务,到场景化创新的转型。那么这篇文章也许对你有收获。
112061 25
|
7月前
|
机器学习/深度学习 Kubernetes Cloud Native
SAP 云平台 (Cloud Platform) 架构概述
SAP 云平台 (Cloud Platform) 架构概述
156 1
|
4月前
|
监控 安全 Java
【Spring Cloud 】基于微服务架构的智慧工地监管平台源码带APP
【Spring Cloud 】基于微服务架构的智慧工地监管平台源码带APP
106 0
|
2月前
|
存储 缓存 前端开发
基于B/S架构的实验室管理系统(云LIS平台源代码)
云LIS系统集成了样本管理、检测项目管理、质控管理、报告管理、数据分析、两癌筛查等多个方面的功能,为实验室提供了一站式的信息化解决方案。系统采用.Net Core新的技术框架、DEV报表、前端js封装、分布式文件存储、分布式缓存等技术,支持LIS独立部署、Docker部署等多种方式,方便用户根据自身需求进行定制和扩展。
基于B/S架构的实验室管理系统(云LIS平台源代码)
|
2月前
|
Prometheus 监控 Kubernetes
青团社:亿级灵活用工平台的云原生架构实践
青团社:亿级灵活用工平台的云原生架构实践
262339 5
|
4月前
|
前端开发 Java API
深度|低代码开发平台和微服务架构的优势与挑战
低代码开发平台和微服务架构是当前软件开发领域的两个热门话题。它们都是为了更高效、更灵活地构建和开发应用程序而出现的解决方案。本文将以一款基于微服务架构的OneCode引擎为案例来探讨低代码开发平台和微服务架构的优势和挑战。
|
4月前
|
人工智能 小程序 Java
基于B/S架构springboot框架开发的中小学智慧校园平台源码
基于B/S架构springboot框架开发的中小学智慧校园平台源码
59 0