阿里云MVP Meetup 《云数据·大计算:海量日志数据分析与应用》之《数据应用:数据服务》篇

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 本文主要阐述在使用DataWorks(数据工场)的过程中如何使用数据服务模块,快速将已生成的数据给用起来。此功能可用于快速将数仓中的结果表生成API,通过API给下游应用使用,或者通过API服务完成数据共享等。

实验背景介绍
在进行本实验前,请先完成实验《数据采集:日志数据上传》、《数据加工:用户画像》、《数据治理:数据质量监控》。上述三个实验使用了DataWorks的三个模块,分别是数据集成模块(快速将数据上云),数据开发模块(完成数据的清洗和周期调度)和数据质量模块(配置数据的校验规则,保证数据产出质量)。本文将给大家讲述如何使用DataWorks的数据服务模块,快速完成数据共享,将整个数据研发流程达到闭环。

数据服务介绍

DataWorks数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务。数据服务为您提供快速将数据表生成数据API的能力,同时支持您将现有的API快速注册到数据服务平台以统一管理和发布。

数据服务已与API网关(API Gateway)打通,支持将API服务一键发布至API网关。数据服务与API网关为您提供了安全稳定、低成本、易上手的数据开放共享服务。

数据服务采用Serverless架构,您只需关注API本身的查询逻辑,无需关心运行环境等基础设施,数据服务会为您准备好计算资源,并支持弹性扩展,零运维成本。

数据服务配置

在前三个课程中,我们已经产出了一系列的表,其中可以直接被报表系统使用的表有 rpt_user_info_d,可以被应用使用的明细表有 dw_user_info_all_d。本文我们会通过使用数据服务,快速的将这两个表生成API。

注册数据源

由于MaxCompute的特性是离线、批量大数据计算,所以直接连MaxCompute生成的数据服务API是无法快速响应的,那么MaxCompute计算引擎为了提升查询效率,推出了lightning加速引擎。那在数据服务中如何使用 lightning引擎呢?

在数据集成界面,新增数据,选择lightning 。
image

填写lightning引擎内容:
数据源名称: (建议为)当前项目名
数据源描述:日志数据表
Lightning Endpoint:lightning.cn-shanghai.maxcompute.aliyun-inc.com
Port:443
MaxCompute项目名称:当前项目名
AccessKey ID:访问者的AK信息
AccessKey Secret:访问者的AK信息
JDBC扩展参数:无需修改

以上信息,填写完成以后,点击测试连通性,测试连通性成功后,点击完成即可。

创建数据服务API

鼠标hover在右上角DataWorks的图标上,跳转至数据服务模块。

注:由于数据服务是结合API网关使用的,如果没有开通API网关的话,需要先开通API网关,具体开通流程本文不做详细概述。

鼠标选中API列表,右键选择新建分组。
image

输入分组名称。
image

创建完成分组后,鼠标右键单击分组名称,选择生成API,选择向导模式。
image

我们这里把 rpt_user_info_d 的数据快速生成api,故API的名称为 rpt_user_info_d ,路径与名称同名。
image

点击确认后,进入API的编辑界面,我们只需要简单的选择数据源类型、数据源名称、数据表名称即可,勾选上入参和出参,保存API。

注:这里建议大家勾选uid和分区字段dt为入参,出参可全选。

image

保存API完成后,点击右上角的测试,会弹出入参的填写框,入参中uid可以填写:0016359810821 ,dt可以填写昨天的日期。
image

测试通过后,可返回API编辑面板,点击右上角的发布,发布后的API就可以被正常访问了。可按照上述方法,将 dw_user_info_all_d 表也生成数据服务API。

API调用

生成的API如何调用呢?
首先你需要将API发布,在发布之前要先开通API网关

这个发布操作就会将数据服务生成的API发布到API网关。

在数据服务右上角,可以选择服务管理。在服务管理中,可以对已发布的API进行查看和授权操作。切换至服务管理后,可以在左侧的API调用模块下,看到API的调用信息。
image

然后通过API网关的SDK调用,详见这里

关于数据服务API的更多用法,可以参考文档:《海量大数据大屏分析展示一步到位:DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
25天前
|
监控 Serverless 数据库
Serverless 应用引擎常见问题之biphon-education-配置了SLS后一直重启如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
28 5
|
28天前
|
运维 监控 数据挖掘
应用研发平台EMAS产品常见问题之将阿里后台的日志落到我们后台失败如何解决
应用研发平台EMAS(Enterprise Mobile Application Service)是阿里云提供的一个全栈移动应用开发平台,集成了应用开发、测试、部署、监控和运营服务;本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案,助力开发者和企业高效解决技术难题,加速移动应用的上线和稳定运行。
|
1月前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
1月前
|
SQL 人工智能 数据挖掘
阿里云DMS,身边的智能化数据分析助手
生成式AI颠覆了人机交互的传统范式,赋予每个人利用AI进行低门槛数据分析的能力。Data Fabric与生成式AI的强强联合,不仅能够实现敏捷数据交付,还有效降低了数据分析门槛,让人人都能数据分析成为可能!阿里云DMS作为阿里云统一的用数平台,在2021年初就开始探索使用Data Fabric理念构建逻辑数仓来加速企业数据价值的交付,2023年推出基于大模型构建的Data Copilot,降低用数门槛,近期我们将Notebook(分析窗口)、逻辑数仓(Data Fabric)、Data Copilot(生成式AI)进行有机组合,端到端的解决用数难题,给用户带来全新的分析体验。
110089 118
阿里云DMS,身边的智能化数据分析助手
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
700 0
|
2月前
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
234 1
|
25天前
|
存储 SQL Serverless
Serverless 应用引擎常见问题之应用下的【应用事件】以及企业级特性下的【事件中心】没有日志如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
34 0
|
1月前
|
存储 机器学习/深度学习 并行计算
阿里云服务器X86计算、Arm计算、GPU/FPGA/ASIC、高性能计算架构区别
在我们选购阿里云服务器的时候,云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选,有的用户并不清楚他们之间有何区别,本文主要简单介绍下不同类型的云服务器有何不同,主要特点及适用场景有哪些。
阿里云服务器X86计算、Arm计算、GPU/FPGA/ASIC、高性能计算架构区别
|
1月前
|
消息中间件 编解码 运维
阿里云 Serverless 异步任务处理系统在数据分析领域的应用
本文主要介绍异步任务处理系统中的数据分析,函数计算异步任务最佳实践-Kafka ETL,函数计算异步任务最佳实践-音视频处理等。
175291 348
|
1月前
|
存储 安全 网络协议
2024阿里云上云采购季活动,云服务器计算型c8a、通用型g8i/g8a/g8y实例区别及价格参考
在阿里云2024年的上云采购季活动中,除了以往活动中有的轻量应用服务器和经济型e、通用算力型u1、计算型c7、通用型g7实例之外,阿里云还新增了计算型c8a、通用型g8i/g8a和g8y实例规格,这些都是具有超高性能的AMD&Intel&倚天第八代云服务器,那么这几个云服务器实例规格的性能及适用场景是怎样的呢?本文为大家介绍阿里云计算型c8a、通用型g8i/g8a和g8y实例规格性能及适用场景。
367 0
2024阿里云上云采购季活动,云服务器计算型c8a、通用型g8i/g8a/g8y实例区别及价格参考