基于阿里云HiTSDB搭建工业物联网平台实践

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 基于阿里云全面的物联网、云计算与大数据技术搭建云端的企业能源管理物联网平台实现能耗数据采集、统计分析、平衡调度、节能优化等全面的能源管控协同平台。是企业生产运行保障的利器,也是大量企业实现云上管理的实践案例。

背景
工业企业的能耗占了全社会能耗的绝大多数,本方案基于阿里云全面的物联网、云计算与大数据技术搭建云端的企业能源管理物联网平台实现能耗数据采集、统计分析、平衡调度、节能优化等全面的能源管控协同平台。是企业生产运行保障的利器,也是大量企业实现云上管理的实践案例。

本方案有健壮的体系,实用的功能。尤其HiTSDB能轻松应对千万级工业传感器数据接入的能力,成为平台方案的亮点。

产品详情关注:https://promotion.aliyun.com/ntms/act/hitsdbdebute2018.html

平台架构

  • 边缘计算:
    采集的工业数据上传到阿里云的物联网套件,中间经过了MQTT协议的可靠传输。
  • 数据采集层:
    IOT Hub负责解析MQTT协议。为保证数据安全性,通过规则引擎转发到DataHub数据总线中,在Datahub中保留7天,确保数据不丢失。
  • 数据计算层:
    DataHub的数据会转发到MaxCompute中,这部分数据用于离线计算,离线计算结果存入关系型数据库。

Streaming实时计算模块,主要包括两方面功能:一是从DataHub读取实时数据解析、清洗后存储到HiTSDB中;一是通过实时数据计算企业设备的运行状态,相关计算结果也是存入关系数据库中。目前阿里云也提供了StreamComputer流计算产品可以和HiTSDB 进行无缝对接。

  • 数据应用层
    数据应用层基于HiTSDB和关系型两种数据源,提供各种应用产品服务。

HiTSDB在架构的核心作用

HiTSDB在整个架构中处于中枢地位,启动承上启下的作用。

  • 工业时序数据的存储场景,设备规模大,指标多样,精度高,HiTSDB可以支撑每秒千万的数据指标值的写入。通过压缩技术增加写入吞如,降低存储成本支撑平台海量工业数据存储需求。
  • 满足业务系统数据查询的功能和性能需求,由于业务产品需求,需经常对历史时序数据进行查询或聚合查询(如avg、max、min、first、last等),对响应时间有较高的要求。HiTSDB可以支撑百万级别的数据请求计算,平均RT小于1秒。
  • 为数据分析挖掘(能耗预测、设备诊断、生产优化等)提供稳定的基础数据源。

选择HiTSDB的优势:

  • 相比较社区开源的OpenTSDB整体性能提升10-50倍,提供99.9%的服务可靠性保证,更少的运维成本。
  • 好用的数据库管理、监控、查询的可视化界面。
  • 与阿里云其它云产品的数据无缝流转。与物联网套件IotHub的数据通道,实现从设备流转过来的数据经过物联网套件的无缝流入HiTSDB存储。如果数据需要经过特定的业务逻辑进行实时的计算,也可以通过StreamComputer计算,将计算结果无缝流入到HiTSDB。

业务应用功能

  • 能效看板
    能效看板模块将全厂及各二级单位的能效水平和波动情况可视化,为企业管理者展现能量系统健康状况的综合信息,使能源利用状况一目了然。
  • 在线监测
    在线监测模块将全厂能源流向消耗情况、生产设备启停状态、电力系统、蒸汽系统、水系统、的计量瞬时值可视化。该模块可将这些能耗相关数据实时显示在操作终端上,是实现企业信息化和生产过程透明化的关键步骤之一,避免关键数据出现“信息孤岛”,大幅提高生产效率,减少生产波动和减少人为浪费。
  • 告警追溯
    告警追溯模块可对能耗异常的车间、生产线或重点耗能设备进行直观展示,同时可自上而下追溯到出现能耗异常的设备及其运行工况参数。当重点用能设备、生产线或车间的能耗或能效指标(单耗)超出限额时,可在时间和空间维度上,按照时间->地点->事件的思路进行追溯。
  • 能耗预测
    能耗预测模块可根据企业生产的历史数据趋势情况,综合生产计划、用能负荷等因素,预测未来一段时间的能耗水平,同时对可中断设备用能负荷进行中断与否评估,使用户根据预测结果提前做好能耗平衡利用措施。
  • 节能优化
    利用海量数据,挖掘有用的信息,利用人工智能技术构建模型,产生有效的节能操作建议。在保障正常生产的前提下,优化主要耗能设备的操作,实现节能降耗的目的。

合作伙伴:广州博依特智能信息科技有限公司是工业大数据深度挖掘的开拓者,也是智能制造和绿色制造协同创新的实践者。博依特公司基于物联网、云计算和大数据技术,挖掘工业数据价值,为企业及客户提供安全、精准和全方位的服务,致力于成为中国领先的制造业大数据挖掘服务提供商。公司提供的能源管理解决放哪,广泛的应用于造纸行业、陶瓷行业、水泥行业等流程制造业,通过挖掘工业数据价值,帮助企业提升生产效益。

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
1月前
|
SQL 分布式计算 关系型数据库
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
本文以云厂商售后技术支持的角度,从客户的需求出发,对于阿里云EMR-Trino集群的选型,外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录,模拟客户已有的业务场景,满足客户需求的同时对过程中的问题点进行解决、记录和分析,包括但不限于Mysql、ODPS、Hive connector的配置,Hive、Delta及Hudi等不同表格式读取的兼容,aws s3、阿里云 oss协议访问异常的解决等。
|
1月前
|
机器学习/深度学习 人工智能 算法
【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
|
2月前
|
存储 监控 安全
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
为了提供更好的日志数据服务,360 企业安全浏览器设计了统一运维管理平台,并引入 Apache Doris 替代了 Elasticsearch,实现日志检索与报表分析架构的统一,同时依赖 Doris 优异性能,聚合分析效率呈数量级提升、存储成本下降 60%....为日志数据的可视化和价值发挥提供了坚实的基础。
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
719 2
|
2月前
|
消息中间件 DataWorks 物联网
MQTT问题之接入阿里云物联网平台如何解决
MQTT接入是指将设备或应用通过MQTT协议接入到消息服务器,以实现数据的发布和订阅;本合集着眼于MQTT接入的流程、配置指导以及常见接入问题的解决方法,帮助用户实现稳定可靠的消息交换。
178 1
|
29天前
|
SQL 存储 API
阿里云实时计算Flink的产品化思考与实践【下】
本文整理自阿里云高级产品专家黄鹏程和阿里云技术专家陈婧敏在 FFA 2023 平台建设专场中的分享。
110807 100
阿里云实时计算Flink的产品化思考与实践【下】
|
1月前
|
弹性计算 安全 定位技术
幻兽帕鲁服务器搭建攻略:【阿里云平台快速上手指南】
2024年,火爆畅销的《幻兽帕鲁》游戏让无数玩家着迷不已!那么,您是否急切想要拥有一个能与伙伴们一起畅快玩耍的游戏服务器呢?现在就跟随若城的脚步,一起动手搭建一个属于自己的《幻兽帕鲁》服务器吧!让这个新年有心意
|
12天前
|
消息中间件 存储 JavaScript
阿里云IOC物联网异步处理基础概念
该内容介绍了异步处理基础和消息队列的相关概念。首先,同步处理指任务完成后才能执行其他操作,而异步则允许任务并行执行,不阻塞程序。异步能提高系统并发性和响应性,但也增加复杂性和资源消耗。接着,提到了消息队列,包括生产者、消费者、队列、broker和topic等概念,并指出在IoT中,设备作为生产者发送消息到特定topic,消费者从队列获取数据。最后,简要介绍了AMQP协议,它是用于应用程序间消息传递的开放标准,常用于分布式系统和物联网,如RabbitMQ和Apache Qpid。课程将以Apache Qpid为例接收IoT数据。
125 6
阿里云IOC物联网异步处理基础概念
|
12天前
|
人工智能 监控 安全
Springcloud数字化物联网智慧工地综合平台源码 劳务管理、设备管理、绿色施工
Springcloud数字化物联网智慧工地综合平台源码 劳务管理、设备管理、绿色施工
23 3
|
1月前
|
弹性计算 网络协议 关系型数据库
网络技术基础阿里云实验——企业级云上网络构建实践
实验地址:<https://developer.aliyun.com/adc/scenario/65e54c7876324bbe9e1fb18665719179> 本文档指导在阿里云上构建跨地域的网络环境,涉及杭州和北京两个地域。任务包括创建VPC、交换机、ECS实例,配置VPC对等连接,以及设置安全组和网络ACL规则以实现特定服务间的互访。例如,允许北京的研发服务器ECS-DEV访问杭州的文件服务器ECS-FS的SSH服务,ECS-FS访问ECS-WEB01的SSH服务,ECS-WEB01访问ECS-DB01的MySQL服务,并确保ECS-WEB03对外提供HTTP服务。