数据集成在ODS项目的应用模式

简介:
ODS(The operational data store),也叫运营数据存储,是用于支持企业日常的全局应用的数据集合,它是介于DB和DW 之间的一种数据存储技术。从专家给出的定义上来讲,它是一个面向主题的、集成的、当前的并且是可"挥发"的数据集合,它反映了在某一个时间切片瞬间,经营 分析系统和外围系统用以相互交换数据的集合,主要用于经营分析系统与外围系统关键数据一致性校验、以及经营分析系统对其它外围系统的决策支持数据的回馈, 回馈数据包括以客户扩展属性为主体的详细资料等。从ODS的作用和实现来说,ODS将各个孤立的业务系统的运营数据集成起来,现成全企业的统一数据视图, 同时可实现ODS的数据共享。
    数据集成是什么呢?它是指异构数据之间的同步。所谓异构数据是指不同种类,不同版本的数据库、文件、Mail等之间的同步。异构数据的同步前提是要能够准 确获取数据源的元数据结构以及异构数据之间的映射方式:包括语法和语义上的映射。数据集成可以认为是ETL(BI上的定义为:抽取-转换-清洗-过滤-加 载);但更强调自动化过程管理。
    在实现机制上,应包括常见的集成模式:Split/Merge/Route/PS等;另外还应该具备建模(元数据管理)和治理(Governace)功能。
    数据集成有什么意义呢?主要是实现数据中心,例如企业级SID;或者遗留系统在数据层面的集成。在建立全局SID的基础上,可以构建很多有意义的东西:例 如Portal/CMS,报表,数据搜索,挖掘等等,这些可以概括地称为BI,即商业智能。因此,数据集成有两个层面的意义:1)操作层面 2)分析层面。
    目前,数据集成的产品有Oracle/BEA的Aqulogic DSP,Vitria的BW,还有就是开源的emule/ServiceMIX/Spring Integration等。不过据我所知,开源的东西还没有支持RDBMS Adapter的,而且还有某些重要功能的缺失例如监控、建模等。
    一般来讲,数据集成的实现方式可以分为一下四个步骤:
    1.界定数据交互的项别与内容,如:PDM系统和ERP系统之间的BOM数据;
    2.指定数据交互周期,一天一次,还是一周一次;
    3.选择交互方式,通过数据库,还是中间件技术来交互;
    4.由ODS数据交互调度程序实现数据上载或是由外围系统自行实现数据下载,从而实现数据的集成。









本文转自 牛海彬 51CTO博客,原文链接:http://blog.51cto.com/newhappy/136079,如需转载请自行联系原作者
目录
相关文章
|
18天前
|
机器学习/深度学习 敏捷开发 人工智能
深入探究持续集成在软件测试中的应用
【4月更文挑战第23天】 随着敏捷开发和DevOps文化的普及,持续集成(CI)已成为软件开发生命周期中不可或缺的一环。本文旨在剖析持续集成如何革新软件测试流程,提升测试效率及质量。文中不仅探讨了CI的基本原理与架构,还细致地分析了其对测试自动化、快速反馈以及质量控制的显著影响。同时,通过实际案例分析,揭示了实施CI的最佳实践及其面临的挑战。最终,文章提出了未来持续集成在测试领域可能的发展方向,为软件测试专业人士提供了前瞻性的参考。
|
29天前
|
分布式计算 中间件 API
中间件应用集成的介绍
中间件应用集成在系统集成中扮演关键角色,通过中间件层连接和协调异构系统,促进通信与数据共享。它提供标准接口,简化集成过程,提升效率,实现业务流程统一。中间件类型多样,如集成、交易、工作量、门户中间件等,可根据需求定制,增强系统可用性、可扩展性,降低成本,助力企业提高效率和竞争力。
15 2
|
2月前
|
前端开发 数据可视化 JavaScript
基于React的简易数据可视化图表库集成与应用
基于React的简易数据可视化图表库集成与应用
25 1
|
22天前
|
测试技术 持续交付 开发工具
《Git 简易速速上手小册》第6章:Git 在持续集成/持续部署(CI/CD)中的应用(2024 最新版)
《Git 简易速速上手小册》第6章:Git 在持续集成/持续部署(CI/CD)中的应用(2024 最新版)
38 2
|
2月前
|
Web App开发 编解码 安全
【WebRTC 入门教程】全面解析WebRTC:从底层原理到Qt和FFmpeg的集成应用
【WebRTC 入门教程】全面解析WebRTC:从底层原理到Qt和FFmpeg的集成应用
181 1
|
1月前
|
敏捷开发 监控 Devops
提升软件测试效率:自动化与持续集成的应用
【4月更文挑战第5天】 在快速迭代的软件开发周期中,确保代码质量和功能的正确性变得日益重要。本文将探讨如何通过自动化测试和持续集成(CI)的结合来提升软件测试的效率和可靠性。自动化测试不仅可以减少重复性工作,提高测试覆盖率,还能快速反馈测试结果,而持续集成的实施则允许开发团队频繁地集成新代码,及早发现集成错误,确保软件质量。文章还将讨论实施这两种策略时面临的挑战及克服这些挑战的策略。
|
1天前
|
JavaScript Java
kkFileView在线文件预览与项目集成
kkFileView在线文件预览与项目集成
|
11天前
|
机器学习/深度学习 算法 前端开发
【Python机器学习专栏】集成学习算法的原理与应用
【4月更文挑战第30天】集成学习通过组合多个基学习器提升预测准确性,广泛应用于分类、回归等问题。主要步骤包括生成基学习器、训练和结合预测结果。算法类型有Bagging(如随机森林)、Boosting(如AdaBoost)和Stacking。Python中可使用scikit-learn实现,如示例代码展示的随机森林分类。集成学习能降低模型方差,缓解过拟合,提高预测性能。
|
12天前
|
敏捷开发 机器学习/深度学习 Java
Java中的异常处理机制深入理解与实践:持续集成在软件测试中的应用探索自动化测试在敏捷开发中的关键作用
【4月更文挑战第29天】在Java编程中,异常处理是一个重要的概念。它允许开发者在程序执行过程中遇到错误或异常情况时,能够捕获并处理这些异常,从而保证程序的稳定运行。本文将详细介绍Java中的异常处理机制,包括异常的分类、异常的处理方式以及自定义异常等内容。 【4月更文挑战第29天】 随着敏捷开发和DevOps文化的兴起,持续集成(CI)已成为现代软件开发周期中不可或缺的一环。本文将探讨持续集成在软件测试领域内的关键作用、实施策略以及面临的挑战。通过对自动化构建、测试用例管理、及时反馈等核心要素的详细分析,揭示持续集成如何提高软件质量和加速交付过程。 【4月更文挑战第29天】 在当今快速发
|
13天前
|
敏捷开发 测试技术 持续交付
深入探究持续集成在软件测试中的应用与优化
【4月更文挑战第28天】随着敏捷开发模式的普及,持续集成(Continuous Integration, CI)已成为软件开发工作流中不可或缺的一环。本文将深入探讨CI在软件测试领域的关键作用,分析其如何提升测试效率和质量,并指出实践中常见的挑战及解决策略。通过对自动化测试流程、测试驱动开发(TDD)以及持续部署(CD)等关键技术的综合运用,揭示了构建高效、可靠软件系统的方法论。