数据集成中间件知识点总结

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介:   数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。   一、模型分类   (1)联邦式数据库系统(Federated Distributed Database System),这种分布式数据库的特点是结点自治和没有全局数据模式,每个结点所看到的数据模式仅仅限于此结点所用到的数据。

  数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。

  一、模型分类

  (1)联邦式数据库系统(Federated Distributed Database System),这种分布式数据库的特点是结点自治和没有全局数据模式,每个结点所看到的数据模式仅仅限于此结点所用到的数据。它一般由两部分组成:一个是本节点的数据模式,另一个是供本节点共享的其他节点上有关的数据模式。结点间的数据共享由双边协商确定。

  (2)中间件模式通过统一的全局数据模型来访问异构的数据库、遗留系统、Web资源等。中间件位于异构数据源系统(数据层)和应用程序之间,向下协调各数据源系统,向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。中间件系统则主要集中为异构数据源提供一个高层次检索服务

  (3)数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的和不可修改的数据集合。其中,数据被归类为广义的、功能上独立的、没有重叠的主题。

  二、Web服务的数据集成中间件设计与实现

  该系统的主要部分是中介器(Mediator)和针对每个数据源的包装器(Wrapper)。这里中介器的功能是接收针对全局模式生成的查询,根据数据源描述信息及映射规则将接收的查询分解成每个数据源的子查询,再将子查询发送到每个数据源的包装器。包装器将这些子查询翻译成符合每个数据源的子查询,并把查询结果返回给中介器。中介器将接收的所有数据源的结果合并成一个结果返回给用户。

  

  在Web Services的框架下使用一组Web Service协议构建信息集成系统。为中间件的数据访问接口创建一个Web Service,然后使用WSDL向服务中心注册。客户端首先向注册中心发送查找请求,然后通过SOAP协议调用数据访问接口,从这些数据源获取数据。这种方法具有完好封装、松散耦合、规范协议和高度的集成能力等特性。

  

该系统有五个核心模块:

  (1)中间件配置模块:配置中间件和各个异构数据库的连接信息,包括数据库地址、登录用户名、密码、数据库名

  (2)查询分解模块:根据数据源描述信息及映射规则将接收的查询分解成每个数据源的子查询

  (3)子查询发送模块:分析用户提交的查询语句,从中找出该查询需要的数据源,然后到中间件的配置信息中查找相应的包装器,把连接信息和子查询发送到对应的包装器。

  (4)子查询执行模块:子查询模块根据不同的数据库类型,加载对应的JDBC驱动程序,实现多个不同数据库的查询操作。

  (5)查询结果重组模块:查询结果重组模块收集子查询的结果,这些结果是以DataSet的形式存在的,然后合并为一个大的DataSet作为最终的结果。返回给客户端时,根据DataSet生成一个结果XML文件给客户端,完成整个查询流程。

目录
相关文章
|
canal 监控 负载均衡
秃头也要学习的微服务进阶场景实战:基于Bifrost的数据同步方案
技术选型 项目组决定找一个开源中间件,它需要满足以下5点要求。 1)支持实时同步。 2)支持增量同步。 3)不用写业务逻辑。 4)支持MySQL之间的同步。 5)活跃度高。
|
1月前
|
前端开发 JavaScript 关系型数据库
微搭低代码从入门到精通02数据源的介绍
微搭低代码从入门到精通02数据源的介绍
|
4月前
|
SQL 关系型数据库 MySQL
数据集成框架FlinkX(纯钧)入门
数据集成框架FlinkX(纯钧)入门
140 0
|
10月前
|
前端开发 定位技术 项目管理
【架构设计 领域驱动开发 二】基本概念概览
【架构设计 领域驱动开发 二】基本概念概览
61 0
|
11月前
|
存储 Oracle 架构师
「集成架构」Talend ETL 性能调优宝典
「集成架构」Talend ETL 性能调优宝典
|
消息中间件 分布式计算 搜索推荐
【KafkaStream】微服务学习笔记十一:流式计算概述&KafkaStream入门
【KafkaStream】微服务学习笔记十一:流式计算概述&KafkaStream入门
341 0
【KafkaStream】微服务学习笔记十一:流式计算概述&KafkaStream入门
|
缓存 前端开发 安全
55-微服务技术栈(高级):微服务网关Soul(数据同步原理)
Soul 网关在启动时,会从从配置服务同步配置数据,并且支持推拉模式获取配置变更信息,并且更新本地缓存。而管理员在管理后台,变更用户、规则、插件、流量配置,通过推拉模式将变更信息同步给 Soul 网关,具体是 push 模式,还是 pull 模式取决于配置。关于配置同步模块,其实是一个简版的配置中心。
375 0
|
调度 数据库
任务调度 Quartzh 框架企业级实战案例
任务调度 Quartzh 框架企业级实战案例
|
网络协议 中间件 程序员
分布式技术专题-服务架构设计-带你统一认识一下系统架构及分析和总结
分布式技术专题-服务架构设计-带你统一认识一下系统架构及分析和总结
279 0
|
Kubernetes 负载均衡 网络协议
【云原生|K8s系列第1篇】:K8s的基础概念、组件架构及实战安装
首先,K8s并不是一个传统意义上的 PaaS平台即服务的工具,它充分给使用者提供了很多很多选择的空间。
【云原生|K8s系列第1篇】:K8s的基础概念、组件架构及实战安装