实时计算Flink > 快速入门 —— 步骤三:数据开发,作业上线

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 本页目录 新建作业 开发储存 用RDS为数据的维表或结果表 编写业务逻辑的SQL 作业调试StreamSQL 作业上线 说明: 实时计算 Flink按照标准的阿里云产品规格提供账号信息支持,即一个项目隶属于一个项目所有者,多人协作模型必须使用主子账号完成。

本页目录

说明: 实时计算 Flink按照标准的阿里云产品规格提供账号信息支持,即一个项目隶属于一个项目所有者,多人协作模型必须使用主子账号完成。

完成数据采集工作后,您可以专注于StreamSQL的编写工作。为方便您熟悉实时计算,我们在开发作业>新手作业中提供了教学作业bj_dim_join 。点击bj_dim_join,您可以查看StreamSQL的具体内容。

新建作业

10

开发储存

为了让您使用更便利、更安全使用数据存储的功能,建议以DataHub作为数据源表。DataHub可以自动生成源表参数和您的schema信息。更多详情请您参阅数据存储

1122 3322

DataHub的参数的配置可以参阅DataHub的源表,EndPoint信息如下图。

2343

进入DataHub的EndPoint地址,根据地区选择不同的地址。

经典网络 34

用RDS为数据的维表或结果表

手动填写RDS维表的参数和您的schema信息,RDS的参数的配置可以参阅RDS的维表

注意:维表暂不支持数据存储的功能。

 
  1. CREATE TABLE rds_dim (
  2. `name` VARCHAR,
  3. Place VARCHAR,
  4. PERIOD FOR SYSTEM_TIME,--维表的声明语法必须填写!
  5. PRIMARY KEY (Place)
  6. ) WITH (
  7. --可以复用SINK表里的参数
  8. type= 'rds',
  9. url = '填写URL',
  10. userName = '账号',
  11. password = '密码',
  12. tableName = '表名'
  13. );

用RDS为数据的结果表,使用数据存储自动生成RDS的参数和您的schema信息,RDS的参数的配置可以参阅RDS的结果表

RDS1

Instance填写刚刚注册的实例ID。

234SDDS 214

编写业务逻辑的SQL

 
  1. INSERT INTO rds_ipplace
  2. SELECT
  3. t.`name`,
  4. w.Place
  5. FROM datahub_ipplace as t
  6. JOIN rds_dim FOR SYSTEM_TIME AS OF PROCTIME() as w
  7. ON t.place = w.Place;

作业调试StreamSQL

详情操作请参阅作业调试

作业上线

调试完成后,经验证逻辑无误后,在数据开发中点击上线作业,您即可完成作业上线工作。上线作业操作将您的改动提交到数据运维中,您即可在生产环境下进行作业启动等生产运维工作。步骤如下图。

资源配置

112玩儿

数据检查

654

上线作业

5632123


本文转自实时计算——步骤三:数据开发,作业上线

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
1月前
|
消息中间件 关系型数据库 Kafka
flink cdc 数据问题之数据丢失如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
1月前
|
关系型数据库 MySQL Java
flink cdc 同步问题之多表数据如何同步
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
1月前
|
监控 关系型数据库 MySQL
Flink CDC产品常见问题之flink-cdc任务抓取全量的mysql数据不生效如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
2月前
|
资源调度 监控 关系型数据库
在Flink CDC作业提交过程中,出现超时问题可能与多种因素有关
【2月更文挑战第8天】在Flink CDC作业提交过程中,出现超时问题可能与多种因素有关
57 11
|
2月前
|
消息中间件 SQL JSON
Flink问题之source并行度不同导致任务没有数据落地如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
330 0
|
29天前
|
API 数据库 流计算
有大佬知道在使用flink cdc实现数据同步,如何实现如果服务停止了对数据源表的某个数据进行删除操作,重启服务之后目标表能进行对源表删除的数据进行删除吗?
【2月更文挑战第27天】有大佬知道在使用flink cdc实现数据同步,如何实现如果服务停止了对数据源表的某个数据进行删除操作,重启服务之后目标表能进行对源表删除的数据进行删除吗?
46 3
|
30天前
|
Oracle 关系型数据库 MySQL
Flink CDC产品常见问题之flink Oraclecdc 捕获19C数据时报错错如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
1月前
|
消息中间件 关系型数据库 Kafka
Flink CDC产品常见问题之 Oraclecdc JdbcIncrementalSource 捕获不到数据如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
30天前
|
分布式计算 Hadoop Java
Flink CDC产品常见问题之tidb cdc 数据量大了就疯狂报空指针如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
30天前
|
资源调度 关系型数据库 测试技术
Flink CDC产品常见问题之没有报错但是一直监听不到数据如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。