润乾软件 + 关注

银行业离线报表订阅系统案例

发布时间:2019-08-13 17:30:07 浏览:323 评论 :0

随着数据量的持续增长,并发访问越来越密集;以及业务种类的不断丰富,报表需求还在不断增加,数据库需要不断扩容来应对这些变化。然而,仅仅对数据库本身扩容难免陷入高成本低成效的窘境,企业应当使用库外计算来减轻数据库的扩容压力和吞吐瓶颈!

数据存储与数据库 数据库 报表

银行业大数据量清单报表案例

发布时间:2019-08-09 11:31:54 浏览:483 评论 :0

银行数据查询业务中,经常会碰到数据量很大的清单报表。由于用户输入的查询条件可能很宽泛,因此会从数据库中查出几百上千万甚至过亿行的记录,比如银行流水记录;为了避免内存溢出,一般都会使用关系型数据库的分页机制来做,但结果往往也不尽人意;有些情况下甚至底层采用了非关系型数据库,这更会加剧了问题的复杂度。

数据存储与数据库 大数据 开发框架与中间件 数据库 报表

趣味集算:数独

发布时间:2019-04-26 20:36:40 浏览:430 评论 :0

数独是一种老少皆宜的数学游戏,大家用零散的时间就可以玩上几局数独,有助于人们缓解压力,培养观察力和耐力,锻炼大脑。 数独游戏的规则也很简单,只需一支铅笔就能游戏,如:在9*9的格子中,已经填入了一些数,你所要做的就是把其余的格子中全部填入1~9的数,使得每一横行,每一竖行,以及粗线所包围的9个九宫格中,1~9这些数字全部只出现一次。

序列

性能优化技巧 - 查找

发布时间:2019-04-22 20:14:51 浏览:444 评论 :0

SPL为用户提供了强大的索引机制以及针对不同场景中各对象的查询函数,善加运用,可以显著提高查询性能。 1 键值查找1.1 序表我们先建立一个份“通话记录”的模拟数据,通过这份数据,来比较一下不同查询函数对序表查询性能的影响。

性能优化 函数 性能 线程 排序 索引 多线程 序列 数据类型

性能优化技巧 - 组表数据更新

发布时间:2019-04-22 19:53:44 浏览:392 评论 :0

组表是集算器提供的高性能存储格式,其原理在于将数据事先排序并以压缩方式紧致存储,好处是占用空间更小,可利用有序进行快速定位。 但这种存储方式在数据更新时会遇到麻烦,这是因为新数据也要和历史数据一起排序并压缩,常常会要求重写整个组表,重写操作非常耗时,但又不得不做。

性能优化 函数 性能 排序 存储

性能优化技巧 - 集群维表

发布时间:2019-04-22 19:50:01 浏览:457 评论 :0

事实表和维表进行关联计算时,需要对维表进行频繁的随机访问,因此维表要尽量放在内存中,才能提高关联计算的性能。如果维表较大,单机内存放不下,就应该考虑用集群方式,将维表分段读入多台机器的内存。下面举例说明集群维表的用法。

算法 性能优化 函数 数据库 集群 脚本 数据结构

性能优化技巧 - 多层排号键

发布时间:2019-04-10 18:12:10 浏览:545 评论 :0

排号键是SPL独特的数据类型,适合替代多层次、各层不连续的键值,比如身份证号、合同编号、产品编号、组织机构代码等。排号键定位速度快,常用于优化内存索引查询和外键关联计算。 内存索引查询cardNormal.btx是集文件格式的身份证信息表,数据量一百万条,字段为:cardNo(身份证,主键),name(姓名),gender(性别),province(省份),email(电子邮件),mobile(移动电话),address(住址)。

算法 性能优化 函数 性能 操作系统 索引 数据类型

性能优化技巧 - 位置利用

发布时间:2019-04-10 18:10:48 浏览:534 评论 :0

SPL的特征之一是数据有序,适当地利用位置,可以显著提高性能。让我们先从一个典型场景开始,逐步掌握利用位置的各种技巧。 快速查询对排序后的数据进行二分查找,可以获得较高的性能,但有些算法需用到原始顺序,看上去似乎不该再排序。

算法 性能优化 函数 性能 排序 测试 脚本 索引 序列

性能优化技巧 - 程序游标

发布时间:2019-04-10 18:07:45 浏览:533 评论 :0

很多算法都会产生落地的中间结果,从而影响性能,尤其是数据量较大的时候。这种情况下通常可用程序游标来避免数据落地,下面举例说明。 前半排序计算目标:订单表原来已按时间排序,需要将数据按日期、产品去除重复,再统计记录条数。

性能优化 性能 数据库 排序 脚本 索引

性能优化技巧 - 内存关联计算

发布时间:2019-04-10 18:05:52 浏览:509 评论 :0

关联动作会严重影响性能,SPL支持内存预关联,可以加快关联动作,从而提升性能。 为了理解关联动作对性能的影响,下面设计一套Oracle关联表,以及无关联的宽表,并执行同样的计算。 关联表的结构和关系如下:数据量:通话记录表(百万条)、用户表(十万条)、开户网点(一万条),代理商表(一万条)。

算法 性能优化 Oracle 性能 同步 脚本

Java 搞定 SQL 集合运算的最简方法

发布时间:2019-03-26 10:30:52 浏览:634 评论 :0

问题介绍  作为 java 程序员,用代码直接实现类似 SQL 中的交并补差的集合运算,总是要编写大量的代码,如果能有一个专门的外部数据工具,通过写简单类似 SQL 的脚本来实现,在 java 中直接调用并可以返回结果集,就再好不过了。

java SQL 脚本 序列 存储过程

Excel 行列转换的最简方法

发布时间:2019-03-26 10:26:20 浏览:1176 评论 :0

问题描述  在工作中时常会遇到对 Excel 表格的处理。当编辑一张 Excel 表格时,发现表格的列数太多,而行数较少,为方便打印,这时你或许会希望将该表格行列转换;或许是为了做进一步做统计分析,当前格式不太方便,这时也会用到行列转换。

python pandas Excel 数组

esproc vs python 2 简单计算

发布时间:2019-03-25 18:57:03 浏览:423 评论 :0

1.添加Age、Fullname字段esproc:A4:我们用T表示序表。T.derive()表示增加字段。这里用age(日期)计算出年龄,作为Age字段。用NAME,SURNAME得到Fullname。

python 函数 序列 list

esproc vs python 1 增删改查

发布时间:2019-03-25 18:45:03 浏览:661 评论 :0

增加记录:在第二的位置增加一条记录esproc A4:添加一条记录(“:”前表示字段值,“:”后表示字段),其中2表示第二条记录的位置 A5:计算运算时间(interval():计算时间间隔。@ms表示以毫秒为单位) python: import time import pandas as pd...

python 函数 random DataFrame pandas 序列

大主子表关联的性能优化方法

发布时间:2019-03-14 15:43:16 浏览:685 评论 :0

一、        原理解释所谓主子表关联计算,就是针对主表的每条记录,按关联字段找到子表中对应的一批记录。以订单(主表)和订单明细(子表)为例,两者以订单ID为关联字段。下图显示了关联计算过程中对主表中一条记录的处理情况,红色箭头代表没找到对应记录(不可关联),绿色箭头代表找到了对应记录(可关联):                                               假设订单(主表)有m条记录,订单明细(子表)有n条记录,在不考虑优化算法时,主表中每一条记录的关联都需要遍历子表,相应的时间复杂度为O(n)。

深度学习 算法 性能优化 性能 线程 数据库 脚本 多线程

MongoDB 分组统计

发布时间:2019-03-14 15:38:23 浏览:1748 评论 :0

   MongoDB 作为 NoSql 文档型数据库,在全球范围得到广泛的支持与应用。在比较常用的数据库功能中,相对于普通的增删改查,使用 group 聚合分组统计有些复杂,而 MongoDB 也给予了支持。

数据存储与数据库 java MongoDB 函数 数据库 脚本 存储过程 Group 数组

查询慢 跑批慢 性能低怎么办? | 润乾高性能计算专家

发布时间:2019-02-22 14:57:37 浏览:379 评论 :0

性能 高性能

报表没完没了怎么办? | 润乾集算器提效报表开发

发布时间:2018-12-19 17:43:09 浏览:310 评论 :0

参考:数据蒋堂《BI 系统数据前置》)文章。方案附件下载:《BI 系统的前置计算 V1.8.pdf》)

BI

实时报表 T+0 的实现方案

发布时间:2018-12-11 09:55:31 浏览:886 评论 :0

数据库 脚本 报表 存储

10 行代码提取复杂 Excel 数据

发布时间:2018-12-05 18:54:06 浏览:798 评论 :0

函数 数据库 序列 Excel

5