阿里云上基于SAP HANA One的数据仓库、BI系统搭建

  1. 云栖社区>
  2. 博客>
  3. 正文

阿里云上基于SAP HANA One的数据仓库、BI系统搭建

woha 2018-09-28 11:56:26 浏览2325
展开阅读全文

规划

6c63352b754e6d86882972a5493f1a5eb09130a6 

BI系统经典架构)

BI系统经典架构,由数据源层、数据仓库层、数据展现层构成,数据源层提供基础数据,数据仓库层存放各种聚合数据,数据展现层按业务场景展示数据。此处的数据仓库层,采用数据分层的设计理念,相对来说实时计算复杂度要求不高的数据放到开源数据库中(如MySQL),实时计算复杂度要求高的数据放到高性能数据库中(如SAP HANA One)。

注:数据仓库层采用数据分层,主要是基于成本考虑。阿里云上的SAP HANA One 64G版,软件每月要4000多大洋,再加上ECS费用,每月就8000多啦。且HANA One64G容量,远远不够。

实现

2.1 数据源

数据分析基础数据来源,系统支持多种数据来源,包括外部数据文件(如ExcelTXTXML等),常用数据库(如OracleMySQLSQL ServerDB2等),其它JDBCODBCJNDI数据源,也支持把Hadoop HDFS中的文件作为数据源,甚至一些常用软件系统(如SAP ERPSASSalesforce)直接作为数据源。

2.2 ETL

采用开源软件Kettle作为ETL工具,从数据源抽取原始数据,做数据转换后导入数据模型。数据抽取周期,根据实际需求从几分钟到月不等。实际应用中,最短数据抽取周期我们曾经到30秒,但这种情况对数据源性能压力较大。幸好HANASDI,通过SDI建虚拟表,直接访问数据源

2.3 数据建模

直接用HANA计算视图建模,建模基础数据来自HANA One、开源聚合数据层(如MySQL)、甚至直接是业务数据表(业务数据表做读写分离,从只读表中取数)。为实现这种跨系统、跨数据库建模,采用了HANA的虚拟表功能(借助SDISDI真是个好东西)。

2.4 数据展现

数据展现平台,主要是PC端的浏览器和移动端的微信Excel方式,对云端应用来说,性能不理想PC端数据展现基于SAPUI5做专门开发:常规拖拽方式的OLAP灵活分析;保存灵活分析格式,形成固定格式的格式化主题分析;串联多个格式化主题分析,做一定扩展形成管理驾驶舱。

2.5 数据挖掘

采用经典的机器学习算法(如:DBSCANK-MeansC4.5决策树、逻辑回归、随机森林、朴素贝叶斯等),对数据进行挖掘分析。可应用的实际业务场景,包括地理位置分析、文本分析、相关性分析等。对需进行训练的监督学习,可根据实际训练需求,定制数据训练平台。

3 成果

3.1 产品示例

  • 地图应用

 86485d44aa01aaff83da5a8abb7aaf63e7037de6

  • OLAP灵活分析

 2402b771dedffe8a386b530cc267903a0c6c1828

  • 文本分析

 f6e0a22dcf07949c7cd34931092380b0676153b8

  •  格式化分析与驾驶舱


ff66096b93154c37bd5d07038566069350e93e81

 

网友评论

登录后评论
0/500
评论
woha
+ 关注