SQL Server 多表数据增量获取和发布 1

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
简介: 功能需求:子公司统一门户系统已完成开发,安全运行一年。接到通知,总部也开发了一套统一门户,要求各子公司使用总部开发的平台,子公司领导讨论决定使用总公司开发的平台,但是也不放弃自己开发的平台,而使用一个折中的方案——使用子公司统一平台发布信息后需要将数...

功能需求:

子公司统一门户系统已完成开发,安全运行一年。接到通知,总部也开发了一套统一门户,要求各子公司使用总部开发的平台,子公司领导讨论决定使用总公司开发的平台,但是也不放弃自己开发的平台,而使用一个折中的方案——使用子公司统一平台发布信息后需要将数据同步到总公司开发的平台数据库中(时间间隔需要越短越好)

开发问题:

1、无法提供统一门户系统源码,只能提供门户表的数据字典
2、领导要求基于门户表内容进行数据变化记录功能——当数据变化(新增,编辑,删除),同步信息到总公司平台,同时本地记录变化信息(永久保存或者保存几个月)
3、需要保证同步的准确性和数据变化的实效性

开发思路:

在开发前,首先考虑的了几个问题:
1、无法获取统一门户平台源代码,哪些技术方法就不能使用
2、如何实时记录数据库表的变化信息,写一个循环服务还是有工具软件可以实现
3、用什么技术进行开发,选取什么应用作为开发模式

一、首先基于第一点,无法得到源代码,如果在有源代码的前提下,可以采取的方式为——对需要修改的表,进行代码层更改,新建一张表历史信息表,在对应增加删除修改的方法前后的前后进行日志记录。因为没有源码,服务->数据库的这条路径就走不通,只能想办法走数据库->服务这条路。

二、实时记录数据库表变化信息,通过百度找到了俩种可能实现的方式。
1、SqlDependency
SqlDependency是封装在.net framework种的一个帮助类库,可以实现对sqlserver 数据库的单表监听
好处:
1、使用简洁
2、网上资源较多
坏处:
1、版本好像只支持sqlserver 2005,太局限
2、实现逻辑太复杂,且只是对单表监控,如果要对多表,还需自己定制化修改
3、根据demo,调试运行发现无法实现监听功能(本机用的是sqlserver 2008 r2版本,估计正好和第1点对应)

2、变更数据捕获(Change Data Capture 即CDC)功能
CDC功能主要捕获SQLServer指定表的增删改操作,由于任何操作都会写日志(哪怕truncate),所以CDC的捕获来源于日志文件。日志文件会把更改应用到数据文件中,同时也会标记符合要求的数据标记为需要添加跟踪的项。然后通过一些配套函数,最后写入到数据仓库中。大概流程:


img_953aa7f22bd8ee7f9db7b6501c7bbf7e.png
cdc流程.png

好处:
1、在SQLServer2008(含)以后的企业版、开发版和评估版中可用。支持的数据库版本更多
2、网上对CDC的讲解和使用文档很多,方便学习
3、sqlserver自身的服务,安全可靠,且支持多表(只需一条配置语句),简单方便,效率高
4、方便运维

三、项目基于.Net开发,先编写一个测试demo,使用控制台程序。
大体的思路是:
建立三个类库+一个服务
模型层,公共帮助层,业务逻辑层+UI(控制台)

步骤1:基于cdc功能配置数据库需要的表,完成数据捕获功能配置。
步骤2:编写一个服务:循环秒后读取CDC新生成的数据捕获表,根据时间戳获取需要每张表的数据,将获取的数据放入一个队列中,同时将数据序列化放入日志表,设置标志位:未读状态
步骤3:开启一个方法——循环
秒读取队列中的内容,如果队列中存在值,启动事务,同时修改数据库日志表当前信息的状态位和发送信息到总公司统一门户平台

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
目录
相关文章
|
8天前
|
SQL 人工智能 算法
【SQL server】玩转SQL server数据库:第二章 关系数据库
【SQL server】玩转SQL server数据库:第二章 关系数据库
51 10
|
20天前
|
SQL 存储 关系型数据库
一文搞懂SQL优化——如何高效添加数据
**SQL优化关键点:** 1. **批量插入**提高效率,一次性建议不超过500条。 2. **手动事务**减少开销,多条插入语句用一个事务。 3. **主键顺序插入**避免页分裂,提升性能。 4. **使用`LOAD DATA INFILE`**大批量导入快速。 5. **避免主键乱序**,减少不必要的磁盘操作。 6. **选择合适主键类型**,避免UUID或长主键导致的性能问题。 7. **避免主键修改**,保持索引稳定。 这些技巧能优化数据库操作,提升系统性能。
215 4
一文搞懂SQL优化——如何高效添加数据
|
1月前
|
SQL 数据库 数据安全/隐私保护
Sql Server数据库Sa密码如何修改
Sql Server数据库Sa密码如何修改
|
1月前
|
SQL 数据可视化 数据处理
使用SQL和Python处理Excel文件数据
使用SQL和Python处理Excel文件数据
54 0
|
18天前
|
SQL
启动mysq异常The server quit without updating PID file [FAILED]sql/data/***.pi根本解决方案
启动mysq异常The server quit without updating PID file [FAILED]sql/data/***.pi根本解决方案
16 0
|
8天前
|
SQL 算法 数据库
【SQL server】玩转SQL server数据库:第三章 关系数据库标准语言SQL(二)数据查询
【SQL server】玩转SQL server数据库:第三章 关系数据库标准语言SQL(二)数据查询
68 6
|
3天前
|
SQL 安全 网络安全
IDEA DataGrip连接sqlserver 提示驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接的解决方法
IDEA DataGrip连接sqlserver 提示驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接的解决方法
8 0
|
8天前
|
SQL 存储 数据挖掘
数据库数据恢复—RAID5上层Sql Server数据库数据恢复案例
服务器数据恢复环境: 一台安装windows server操作系统的服务器。一组由8块硬盘组建的RAID5,划分LUN供这台服务器使用。 在windows服务器内装有SqlServer数据库。存储空间LUN划分了两个逻辑分区。 服务器故障&初检: 由于未知原因,Sql Server数据库文件丢失,丢失数据涉及到3个库,表的数量有3000左右。数据库文件丢失原因还没有查清楚,也不能确定数据存储位置。 数据库文件丢失后服务器仍处于开机状态,所幸没有大量数据写入。 将raid5中所有磁盘编号后取出,经过硬件工程师检测,没有发现明显的硬件故障。以只读方式将所有磁盘进行扇区级的全盘镜像,镜像完成后将所
数据库数据恢复—RAID5上层Sql Server数据库数据恢复案例
|
12天前
|
SQL 数据安全/隐私保护
SQL Server 2016安装教程
SQL Server 2016安装教程
17 1
|
12天前
|
SQL 安全 Java
SQL server 2017安装教程
SQL server 2017安装教程
14 1