【阿里云流计算】- 电商多张商品表合并案例

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 背景 随着互联网的普及电商行业越来越火爆,但是面对成千上万的商品种类、价格明细等大量数据,怎么才能实时的抽取商家想要获取的数据呢? 步骤操作 准备工作 取2张实时更新的主键相同数据源表(ID为主键),每张表抽出带主键的一到两个字段然后写入一张大表中去! --实时的流式源表1 CREATE TABL.

背景

随着互联网的普及电商行业越来越火爆,但是面对成千上万的商品种类、价格明细等大量数据,怎么才能实时的抽取商家想要获取的数据呢?

了解更多阿里云流计算

步骤操作

准备工作

取2张实时更新的主键相同数据源表(ID为主键),每张表抽出带主键的一到两个字段然后写入一张大表中去!

--实时的流式源表1
CREATE TABLE datahub_input1 (
id            BIGINT,
name        VARCHAR,
age           BIGINT
) WITH (
type='datahub'
);

CREATE TABLE datahub_input2 (
id            BIGINT,
apple           BIGINT,
time         VARCHAR
) WITH (
type='datahub'
);



CREATE table result_01(
id bigint,
name VARCHAR
)with(
type='rds'
);

CREATE table result_02(
id            BIGINT,
apple           BIGINT
)with(
type='rds'
);


insert  into  result_01
select
id,
name
from
datahub_input1;

insert  into  result_02
select
id,
apple
from
datahub_input2;

测试数据

ID NAME AGE
1 11W 11
2 12W 12
ID APPLE time
1 220 11:00:00
3 221 11:10:00

测试结果

ID NAME APPLE
1 11W 220
2 12W null
3 null 221

难点解析

CREATE table result_01(
id bigint,
name VARCHAR
)with(
type='rds'
);

CREATE table result_02(
id            BIGINT,
apple           BIGINT
)with(
type='rds'
);

其实大家看上面的SQL很简单的逻辑,其实声明的这二张表是一张真实的大表,它包含了二张表的所有字段主键为相同的ID(注意:流计算不支持部分主键插入,如数据库中定义为多个的联合主键),主键相同会做UPDATE更新,字段不同不会覆盖,如果字段一样就会覆盖。如果是没有的字段就会根据数据库定义的默认值来补充!就比如上面的测试结果一样。

相关实践学习
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
目录
相关文章
|
2天前
|
存储 开发工具 对象存储
Javaweb之SpringBootWeb案例之阿里云OSS服务入门的详细解析
Javaweb之SpringBootWeb案例之阿里云OSS服务入门的详细解析
10 0
|
1月前
|
存储 DataWorks Kubernetes
阿里云cam授权案例
以下是内容摘要: 1. 阿里云OSS自定义策略允许全权访问`dc-odsopr`及其所有内容。 2. Dataworks授权文档详情见[此处](https://help.aliyun.com/document_detail/74302.html)。 3. 日志权限策略涵盖多种日志操作,如获取和管理项目、作业、日志存储等,限定于`cn-shenzhen`区域的`k8s`项目。 4. AliKafka权限包括实例、主题的管理,消息操作及部署、ACL、用户管理等。 5. OSS策略允许上传对象至`sz-creative-system-test-public`存储空间。
27 5
|
1月前
使用阿里云智能翻译接口案例—
使用阿里云智能翻译接口案例—
11 0
|
1月前
|
JSON 数据格式
使用阿里云火车票查询接口案例—
使用阿里云火车票查询接口案例—
11 0
|
1月前
使用阿里云身份证扫描识别接口案例—
使用阿里云身份证扫描识别接口案例—
36 0
|
1月前
|
弹性计算 小程序 安全
阿里云服务器可以干什么用?阿里云服务器用途解读及优惠配置价格表参考
在这个数字化高速发展的时代,云服务器已经成为了许多企业和个人的首选。那么,买一台云服务器到底可以干什么呢?今天就为大家深入解读一下。 1、搭建网站:无论是企业官网、个人博客,还是论坛社区,云服务器都是搭建网站的不二之选。小配置的云服务器对于个人博客来说,既经济又实用,轻松满足日常需求。 2、小程序开发:在进行小程序开发时,经常需要调用服务器的REST API或Web Socket。这就要求服务器必须提供安全的链接地址,即使用SSL加密数据。云服务器可以轻松配置SSL,保障数据传输的安全。 3、APP开发:对于软件开发人员来说,一些网络应用软件需要存放在服务器上才能被更多用户使用。
59 0
|
1月前
|
存储 弹性计算 负载均衡
自己买服务器还是租赁云服务器好?附2024年阿里云云服务器优惠价格表
随着技术的飞速发展,无论是个人还是企业,在面临选择服务器的问题时都会陷入纠结:究竟是自己购买服务器还是租赁云服务器更为合适? 云服务器的灵活性成为其显著优势。想象一下,当您的业务突然迎来爆发式增长,需要更多的计算和存储资源时,云服务器允许您按需购买,随时扩展或缩小规模,轻松应对各种变化。此外,云服务器还能迅速提供负载均衡、CDN等新的应用程序或服务,助力您的业务快速发展。
48 1
|
1月前
|
弹性计算 大数据 测试技术
阿里云服务器多少钱一年?2024年阿里云优惠云服务器新版租用价格表出炉!
在当下云计算的浪潮中,阿里云作为国内领先的云服务提供商,一直备受关注。许多用户都想知道,租用阿里云服务器一年需要多少钱?今天,就为大家带来了一份详细的优惠云服务器新版租用价格表。对于轻量级应用,阿里云2核2G3M轻量应用服务器一年仅需62元,无疑是性价比之选。而如果是稍微复杂一些的应用场景,阿里云2核2G3M经济型e实例云服务器ECS一年价格为99元,也非常实惠。
|
1月前
|
开发者
阿里云2024年上云采购季活动云服务器优惠价格表参考
3月1日,阿里云正式上架了2024年的上云采购季活动,云服务器优惠价格表也随之出炉了,2024年的上云采购季活动中云服务器价格最低是2核2G配置,仅需99元1年,每天仅需0.27元;2核4G配置199元1年,每天只要0.54元。轻量应用服务器2核2G配置最低61元1年,2核4G配置最低165元1年。如果是选择月付的话,最低26.52元可购买一台4核16G配置,100G ESSD Entry云盘,10M带宽的经济型e实例云服务器。下面小编整理汇总的此次上云采购季活动用户可以购买到的具体云服务器配置及价格,以表格形式展示给大家,以供参考选择。
171 0
阿里云2024年上云采购季活动云服务器优惠价格表参考
|
2月前
|
弹性计算 缓存 开发框架
企业用户如何选择云服务器?2024年阿里云企业级服务器价格配置表整理汇总
企业在选择云服务器之前,快速云提醒要留意好以下几个要点: 1、CPU:如果网站访问流量较大,动态页面比较多,建议选择2核以上的CPU。 2、内存:内存越大,则可用缓存越大,打开速度越快,建议选择1G以上的内存。 3、硬盘:硬盘的大小要根据网站的大小来决定,在选择时应该考虑留一部分的剩余空间。 4、带宽:带宽越大,访问速度越快,支持访问人数也就越多,网站应用这类型的网站,至少要2M以上的带宽。 5、操作系统:在选择操作系统时,对哪种操作系统比较了解就选择哪种操作系统,windows系统对asp程序支持较好,不过占用内存较多;而Linux系统对php程序支持较好,更省内存。
42 2

热门文章

最新文章