大数据的体系架构

简介:

ZDNet至顶网软件频道消息:有些数据架构师早已开始应对物联网 (IoT)与智能设备私人网络合作产生的巨量数据。 集成专家 Brian Anderson 是软件和过程开发公司 Notionovus 的总经理。 他在职业生涯早期担任 Caterpillar 公司的嵌入式系统编程员。在当时,他主要负责为车间的机器人车辆网络构建应用系统。

在 Caterpillar 公司任职的 25 年里,Anderson 还担任过工程部主管、制造工程师和 6 西格玛黑带。 换句话说,在 IoT 还未普及以前,他便已开始处理数据问题。

Potential at Work 就有关架构师如何准备现有环境,才能进行 IoT 固有的海量扩充和大量集成的问题,对 Anderson 进行了咨询。

对于那些正在试图为 IoT 数据集成奠定结构化方法基础的架构师,您有何建议? 
Anderson: 集成专业人员需着眼于四项关键过程指标 (KPI):速度、可靠性、成本和安全性。 在人们谈及良好或糟糕的集成体验时,上述四项面向客户的指标总会重复出现。 但在讨论 IoT 时,其关键的指标主要集中在安全性上。 设备归属于所有者,而所有者必定会有隐私方面的担忧。

IoT 竞争舞台的胜出者将会是那些可以提供最佳用户友好数据控件,而且能够严密锁定访问者查看内容的企业。 而失败者将会是那些暗中使用其设备所生成的数据窥探用户隐私的企业。 此外,还要寻求可以重复使用和利用现有代码库的工具。 这将减少对高度专业化人员的需求。

架构师的工作要更多地涉及全局思考以及对未来集成需求的预期,以便能够将灵活性置入其规划模型当中。 例如,如果数据架构师和数据集成专业人员忙于处理特定界面上的某个问题,则表明您是在浪费金钱,而不是在规划未来。

您如何将精益方法应用于非结构化的 IoT? 
Anderson: 坚持使用有助于构建透明集成的工具。 以端对端可见的方式深入了解信息的价值链对于测量 KPI 至关重要。 如果致力于持续改进,便不能使用黑箱系统。 避免开发多余的应用系统以及重新创造已建立的连接点。

补丁、更新和错误修复程序为非客户选项,而且带有附加价值,所以要专注于最大程度地降低发行代码的复杂性。 由于坏数据造成的成本非常高昂,因此在软件中置入数据验证可以提高价值。 在系统及其用户生成无错误数据时,验证是唯一的非增值选项。

数据架构师如何才能使企业数据管理策略适应 IoT? 
Anderson: 企业数据管理策略需要重新访问未来和现有数据流的存档、安全性和用例。 IoT 上所有增加的数据流都将对当前的操作产生巨大的影响。 您需要在适当的位置采用存档和数据保留策略,以最大化地利用海量增加的数据流,同时最大程度地减少数据管理系统占用空间。

原文发布时间为:2014年10月20日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
13天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
36 2
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
718 2
|
4月前
|
SQL 存储 分布式计算
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍(图文解释 超详细)
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍(图文解释 超详细)
191 0
|
4月前
|
监控 物联网 大数据
助力工业物联网,工业大数据之服务域:AirFlow的架构组件【三十二】
助力工业物联网,工业大数据之服务域:AirFlow的架构组件【三十二】
46 0
|
4月前
|
存储 分布式计算 大数据
首批!阿里云MaxCompute完成中国信通院基于无服务器架构大数据平台测试
近日,阿里云计算有限公司MaxCompute产品顺利完成中国信通院首批无服务器架构(Serverless)大数据平台测试。
221 0
|
4月前
|
存储 数据采集 大数据
大数据必知必会系列——数仓分层架构及三层架构流程[新星计划]
大数据必知必会系列——数仓分层架构及三层架构流程[新星计划]
111 0
|
4月前
|
分布式计算 算法 搜索推荐
阿里巴巴内部:全技术栈PPT分享(架构篇+算法篇+大数据)
我只截图不说话,PPT大全,氛围研发篇、算法篇、大数据、Java后端架构!除了大家熟悉的交易、支付场景外,支撑起阿里双十一交易1682亿元的“超级工程”其实包括以下但不限于客服、搜索、推荐、广告、库存、物流、云计算等。 Java核心技术栈:覆盖了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。 大数据:Spark、Hadoop
|
4月前
|
分布式计算 资源调度 大数据
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解(图文解释)
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解(图文解释)
193 0
|
5天前
|
敏捷开发 监控 数据管理
构建高效微服务架构的五大关键策略
【4月更文挑战第20天】在当今软件开发领域,微服务架构已经成为一种流行的设计模式,它允许开发团队以灵活、可扩展的方式构建应用程序。本文将探讨构建高效微服务架构的五大关键策略,包括服务划分、通信机制、数据管理、安全性考虑以及监控与日志。这些策略对于确保系统的可靠性、可维护性和性能至关重要。
|
17天前
|
API 数据库 开发者
构建高效可靠的微服务架构:后端开发的新范式
【4月更文挑战第8天】 随着现代软件开发的复杂性日益增加,传统的单体应用架构面临着可扩展性、维护性和敏捷性的挑战。为了解决这些问题,微服务架构应运而生,并迅速成为后端开发领域的一股清流。本文将深入探讨微服务架构的设计原则、实施策略及其带来的优势与挑战,为后端开发者提供一种全新视角,以实现更加灵活、高效和稳定的系统构建。
23 0