填报 - 分片问题分析

简介:

举例:多源普通填报表
1

描述:
2~6 行的数据来源于 rq_report_address_main 数据库表 字段指定对象名为 address_main,
8 行的数据来源于 rq_report_address_detail 数据库表 字段指定对象名为 details1
如果原始数据表 rq_report_address_detail 中,记录数小于 2,那么再预览查看表结构的时候会发现系统解析后将上下俩部分 分为了一片 如下图:
2

出现此现象的原因是:
目前分片规则是把界面中所有的单值划分到一组,只有存在多个值得字段才划分成新的组;
比如 我现在 D2 D3 C8 D8 等都是单值 如果解析的时候发现 C8 扩展出了多个值 那就把它及相关数值格单独划分为一个分片,而后要根据分析出来的分组情况编写不同的去向 dfx 程序。
补充:
除上述情况外,如精确指定字段名称所属对象的话,按照指定字段名称行列进行分片;
如不指定字段名称所属对象,第一步先自动确定字段名,第二步才自动分片 规则如下:
每片形成一个序表(序表可以理解为一个数据表)。通常行列上连续的一片数值格(连同对应的维度格)会被当做一片;
连续的多行(两行以上)中,只有数值格,没有维度格和非空普通格会被当做自由增删行的行式分片;除了这些分片以外的单值数据(维度格、数值格)将被拼到一个一行记录的序表中。

目录
相关文章
|
25天前
|
SQL 数据建模 数据处理
Dataphin常见问题之指标粒度统计到维度表的某个字段如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
1月前
|
DataWorks Java 关系型数据库
DataWorks常见问题之任务跑成功数据没有成功写入到表里面如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
36 0
|
4月前
|
数据库
数据库第五次作业 查询数据
数据库第五次作业 查询数据
32 0
|
10月前
|
SQL 数据库
关于对数据库统计每个时间段内的数据的实现方式
sql新手的我今天遇到了一个问题关于数据库统计每个时间段内的数据的问题,先简化一下题目举个例子吧 表结构 访问记录表(vs_records) id time 0001 2005-12-1 14:12:16 0002 2005-12-1 14:22:16 0003 20
90 0
|
存储 SQL 分布式计算
用户/帖子/好友/订单中心如何进行数据库水平切分
用户/帖子/好友/订单中心如何进行数据库水平切分
|
数据库
LeetCode(数据库)- 列出指定时间段内所有的下单产品
LeetCode(数据库)- 列出指定时间段内所有的下单产品
80 0
|
数据库
LeetCode(数据库)- 查询回答率最高的问题
LeetCode(数据库)- 查询回答率最高的问题
83 0
|
SQL 测试技术 开发者
|
存储 人工智能 大数据
分区取模分库分表策略:多表事务分库内闭环解决方案
当表数据超过一定量级,就需要通过分表来解决单表的性能瓶颈问题;当数据库负载超过一定水平线,就需要通过分库来解决单库的连接数、性能负载的瓶颈问题。本文将阐述在不同情况下,让不同数量级表,在同一个业务ID的事务操作路由到同一分库中的方案,省去解决垮库事务的烦恼。
分区取模分库分表策略:多表事务分库内闭环解决方案
|
DataWorks Shell

相关实验场景

更多