快速完成智能数据构建,Dataphin公共云版本全面解读

简介: 公测两个月,Dataphin公共云版本已经受到了阿里云上众多轻量级用户的关注。事实上,Dataphin作为一款大数据智能构建与管理的产品,其核心功能是面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力,包括产品、技术和方法论,助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系,以驱动业务创新。

公测两个月,Dataphin公共云版本已经受到了阿里云上众多轻量级用户的关注。事实上,Dataphin作为一款大数据智能构建与管理的产品,其核心功能是面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力,包括产品、技术和方法论,助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系,以驱动业务创新。

日前,基于公测期间用户关注的诸多问题,Dataphin团队在阿里云上启动了首场Dataphin公共云产品直播。针对性地解读了这一版本在性能和使用上的亮点。

1、Dataphin可以解决什么问题?

近年来大数据领域最热门的词非“数据中台”莫属,很多数据服务商都转型为“数据中台”的搭建者。然而与“数据中台”的构建密切相关的产品Dataphin现已正式上线阿里云公共云环境。致力于帮助更多企业完成智能数据构建与管理的期望。

“数据中台”在媒体报道中,俨然成为了一个新的风口,那么“数据中台”也像之前的“物联网”、“O2O”一样只是概念吗?其实“数据中台”是一个经过实践验证后被提出的能力,阿里巴巴早在2015年就已确定数据中台为战略方向。今天终于可完整的携带方法论、技术、产品对集团外进行能力输出。

阿里巴巴的数据中台是滋生于业务的,实实在在解决着业务中的痛点,对于正在进行数字化转型的企业来说,不同的岗位角色有着不同的困惑。

image

在数据使用上遇到一些现实问题,大致可以从业务视角和技术视角两方面来看:

首先是业务角度,由于数据标准不统一,命名不规范,口径不一致,导致不同业务方对于同一个业务的认知有所不同;又因为由于团队之间的壁垒,导致每个团队能够使用的数据非常有限,数据孤岛化严重;而从数据加工处理的流程来看,各业务之间相互调用,逐步形成网状依赖,加剧了数据重复建设以及管理失效的现状;

其次是技术角度,烟囱式的开发导致开发周期长、效率低下,研发资源浪费,技术标准的差异则带来维护成本奇高,同时数据垂直开发,导致生产链路复杂且长,重复计算多,数据产出时效性差;

image

综合整个大数据技术及应用发展历史,数据构建与管理要落地企业长效发展过程中,最大的挑战可以抽象为以下四类:

  • 业务理解上,“数据指标不一致”;举个简单的例子,就是一家企业的CEO,订立销售目标是1个亿,结果他的5个业务负责人根据各自的算法所得的业绩数据都超过2千万,所有业务leader的任务都完成了,唯独CEO的业绩却没有完成!听起来可能是个玩笑,但是口径不一致的问题经常会出现我们的业务中;
  • 需求支持上,“研发难”;一般地,一个需求提出到响应给到业务方,一般要一周时间,这还不算业务方拿到需求发现与实际业务中感知有所差异,不断地与开发者进行对齐的时间;
  • 财务账单上,“资源消耗高,财务成本重”;举个简单的例子,我们写个复杂的查询,如果没有注意到全表扫描和主键唯一校验问题,就有可能扫描一张数十亿行的数据,就有可能执行超长的时间,消耗大量的资源;
  • 数据价值透出上,则需要快速响应、敏捷开发;举个简单的例子,模型做的非常好了,但是模型师不爱写文档,或者文档太久没有更新,对于一个应用开发者或者服务开发者而言,他需要不断地去看模型的代码,去探查数据验证自己的理解和判断,直到找出所需要的数据。同样,另外一个业务开发者也需要在不同的应用中使用这份数据,如果幸运地知道别人已经开发过了,可以做到一定程度的复用,但是如果不知道这个服务的存在,这位开发者还要重新来过一遍;

image

2、同类市场上,Dataphin的特点与优势在哪里?

Dataphin的原创性核心能力:

第一:“数据规范定义”。百分百消除二义性,所谓二义性就是两个同名的指标名称但是计算口径却是不同的,Dataphin通过规范定义与自动化建模的方式消除了这种二义性的存在;这一能力打破的是概念设计与逻辑设计之间的鸿沟;

第二:“设计即开发”。简单地说就是,实现了可视化配置后的代码自动生成,这一能力打破的是逻辑设计与物理设计之间的差异;

第三:“数据资产化管理”。数据构建完成后,需要系统化地管理与运营,让数据资产得以高质量、低成本、安全产出,更重要的是高效流通,快速价值化;

第四:“主题式查询”。简单地讲就是,面向数据使用者的不再是物理模型中分散的数据表,而是以主题组织的模型;对于使用者而言,将省去大量的沟通、理解成本。

image

3、中型企业、轻量级用户是否适合使用Dataphin吗?

我们经常会用到这张图,形象化地描述,如果你是一家小型企业,现在开始规范化建设你的数据,将来自然生长为一个大型规范的数据中心;如果您是一家大型企业,还没有建设数据中台,提前规划,提前储备,一步到位建设数据中台。公共云版本正是在中小企业成长过程中既满足用户的需求,同时又相比独立部署价更加经济的选择。

image

查看产品:智能数据构建与管理 Dataphin
一图快速了解:发布核心、场景、优势、接入、更多!
直播回顾:Dataphin公共云重磅发布
点击了解:“阿里云新品发布会频道”
立即订阅:阿里云新品发布会·周刊

相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
22天前
Dataphin功能Tips系列(7)-维表版本策略
在创建普通维度逻辑表和事实逻辑表关联维度时,如何配置维表版本策略?
|
1月前
|
SQL 分布式计算 数据可视化
Dataphin常见问题之看不到上个版本的血缘如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
SQL 运维 调度
Dataphin V3.14 版本升级|研发平台更易用,治理能力更完备,企业级适配更灵活
Dataphin V3.14 重磅升级,平台支持企业级适配,适配企业特色;研发体验易用性提升,数据研发更高效、任务运维更便捷;数据治理能力更完备,支持多对象批量操作,规则级告警配置、分级分类自动继承继承!
292 0
|
4月前
|
SQL 运维 监控
Dataphin V3.9 版本升级|支持一站式数据汇聚处理、优化研发体验、提升数据治理能力
Dataphin V3.9 版本升级|支持一站式数据汇聚处理、优化研发体验、提升数据治理能力
|
4月前
|
SQL 运维 API
Dataphin(智能数据建设与治理)V3.13版本升级速览
本次发布的V3.13 版本中,Dataphin 不仅提升了易用性,支持了计算任务批量操作(离线集成&实时计算任务)、运维列表查看及批量操作(实例排序、手动任务批量运行、逻辑表任务修改负责人)等功能;也新增了多个特色功能,如:任务传参及灵活调度(跨节点参数)、治理经验沉淀(质量知识库)、资产治理相关对象的跨租户发布(数据标准、安全)、跨集群资源调度、分析平台手工表等,以满足灵活、多样性的业务诉求。
408 2
|
7月前
|
SQL 数据采集 关系型数据库
Dataphin(数据建设与治理)V3.12版本升级详情
本次发布的V3.12 版本中,核心重点能力主要有 支持 StarRocks计算引擎适配;部署去除OSS/Ceph等存储依赖;分析平台支持query任务;质量分,数据标准结构升级支持标准模板,批量导入导出;实时研发支持等Flink SQL支持访问MySQL、Hologres、MaxCompute数据源中的表等 在下一个版本中,将支持自定义消息渠道,支持质量知识库,标准、安全支持跨租户发布,分析平台支持手工表等功能,还有很多其他新增能力与功能升级,敬请期待。
361 0
|
8月前
|
存储 数据采集 监控
数据治理利器Dataphin:数据安全管理3步走,保障全链路数据安全(V3.11版本)
瓴羊Dataphin(智能数据建设与治理),一直在探索数据安全管理能力的产品化最佳实践,即如何帮助企业利用产品工具能力,基于法律法规、主管部门要求和自身行业和业务的需要,建立起规范的分级分类制度,并对敏感数据制定相应的保护策略。企业通过Dataphin构建起合规的数据安全体系,将数据安全风险降至最低,让数据资产在安全合规的基础上,得到最大的价值释放。
648 4
|
9月前
|
SQL 监控 安全
Dataphin V3.11版本发布啦!多项能力升级,助力企业提升全链路数据治理能力!
Dataphin V3.11 版本,全新上线隐私计算平台、数据分析平台、资产专题,SQL 编辑也做了重大改进优化。为企业建设贯穿事前、事中、事后的全链路数据治理能力添砖加瓦,助力提升资产价值。 在下一个版本中,还有很多其他新增能力与功能升级,敬请期待。
968 0
Dataphin V3.11版本发布啦!多项能力升级,助力企业提升全链路数据治理能力!
|
10月前
|
数据采集 SQL 运维
Dataphin(数据建设与治理)V3.10版本升级速览
本次发布的V3.10版本中,Dataphin新增了ArgoDB作为计算引擎;针对客户不同的管控诉求,提供了自定义审批模版、自定义下载和权限审批策略的管控能力;优化了自定义数据源的元数据获取和创建流程;在数据集成、实时研发、数据服务中都新增了多种数据源的适配;在资产治理中,也支持了质量整改、异常数据归档、标准关联质量。
2087 2
Dataphin(数据建设与治理)V3.10版本升级速览
|
11月前
|
SQL 数据采集 分布式计算
Dataphin(数据建设与治理)V3.9版本升级详情
本次发布的V3.9版本中,Dataphin提升了客制化的能力,针对不同的客户的业务场景、组织架构和管理职责进行了适配性的升级,并持续提升了规范建模的能力以及研发的易用性。在下一个版本中,我们将针对数据治理的相关能力进行升级,简化操作链路,持续提升用户体验。
4570 0