1. 聚能聊>
  2. 话题详情

如何在嵌入式IoT环境中,千万级设备进行日志管理

2017年12月19日至20日,云栖大会·北京峰会在国家会议中心召开,云计算、大数据、人工智能、物联网等热门话题备受各方关注。阿里云日志服务也发布了嵌入式日志采集端(C Producer Library) 解决物联网设备日志采集、诊断难的问题。

作为IoT/嵌入式工程师,除了需要深厚功底外,如何有能力管理、监控、诊断这些“黑盒”设备至关重要。C-Producer就是一款完全针对IoT场景量身打造日志采集客户端,具备高性能、低资源消耗、计算与I/O分离、多种写入优先级、本地调试等功能。

除客户端外,通过日志服务完整的生态(开源、可视化等),全面查询分析能力(SQL92)和海量的日志处理能力,我们可以快速地构建高性价比面向千万设备一体化日志方案。

WX20171226_101505

今天大家一起来聊一聊,利用嵌入式客户端(C-Producer)进行IoT运维和开发的典型场景:
1 如何进行千万设备的日志统一采集,管理,与问题定位与告警?
2 利用写入即可查询分析特性,对IoT日志数据进行实时分析?有哪些应用场景?
3 还可以完成哪些有价值、有意思的事情?

参与话题

奖品区域 活动规则 活动已结束,可继续参与讨论哦

  • 奖品一

    云栖定制电脑包 x 2

  • 奖品二

    虾米VIP月卡 x 6

  • 奖品三

    云栖社区T恤 x 2

40个回答

0

blueyusz 已获得虾米VIP月卡

一直不理解设备测日志数据,粒度,频率,日志大小,上传时机等的最优案例。尤其是低功耗广域网设备。

简志 回复

这是一个很好的问题,日志数据采集针对智能设备(例如盒子,手表等)多一些,对IoT而言更多是控制(因为芯片和硬件有限制,并且状态相对简单)一般不采集

评论
2

zhuwhixoxin 已获得虾米VIP月卡

在云端搭建后台管理系统,建立用户管理、设备管理、运营统计等功能,日志管理需要根据实际应用场景的项目要求针对性设计,可以利用CI/CD等技术实现自动化运维

1

北方的郎 已获得虾米VIP月卡

1 如何进行千万设备的日志统一采集,管理,与问题定位与告警?
阿里云日志服务就可以啊。要不用ELK,也不错。

2 利用写入即可查询分析特性,对IoT日志数据进行实时分析?有哪些应用场景?
问题告警,农产品溯源等。

3 还可以完成哪些有价值、有意思的事情?
产品跟踪,溯源。等等。

1

aoteman675 已获得虾米VIP月卡

1 如何进行千万设备的日志统一采集,管理,与问题定位与告警?
区块链技术可以融入物联网,区块链分布式的网络结构可以提供一种机制,使得设备之间保持共识,无需与中心进行验证,这样即使一个或多个节点被攻破,整体网络体系的数据依然可以运行,是可靠安全的。针对千万设备可以创造设备池构造日志仓库,用流计算负责日志采集管理。用人工智能自定义规则分析日志定位告警信息及隐患。
2 利用写入即可查询分析特性,对IoT日志数据进行实时分析?有哪些应用场景?
在智能家居系统中适用,家居设备组成了一个私有云,日志也是私有的,分析特性可从家居健康性评估。
3 还可以完成哪些有价值、有意思的事情?
分析日志挖掘市场潜力,引导产品走向。

0

漂移 已获得云栖定制电脑包

设备上如果可以跑mqtt,那么就好办许多啊,订阅话题后直接通过设备序列号和id+gps位置进行组合生成字典,然后由mqtt broker获取后写入redis或者cassandra,也可以用mongodb。反正key-value的形式就对了,然后架设ELK进行日志分析,通过tensorflow进行卷积分析,引入ai肯定是大势所趋啊
0

沙发001 已获得云栖社区T恤

1 如何进行千万设备的日志统一采集,管理,与问题定位与告警?
~这个问题很大,我来分享其中几条我遇到的问题(我踩过的坑)系统设计阶段:要对数据分类及数据标准化,如同一个系统采用统一标准的,乃至于推广成全行业的标准.这样最终系统上线之后,新模块接入或新公司开发的系统接入,数据处理很容易统一并修改最小

数据采集端:千万设备的数据是一个庞大的宝藏,数据分析可以挖掘出很多有价值的东西,数据量大其实对与数据的可靠性要求也很对,以往大家都认为数据量大的情况下一两个数据有问题对最终结果影响不大,但是这里是指某些几个数据采集端出问题不会影响到大数据,还有一种情况是数据采集端的设计或编码不合理(这种情况往往对于单个设备甚至是几百个设备来说都是忽略不计的)但是如果同一个设备有这个问题,而有上千万的这种设备被使用,这个忽略不计的误差就会被放大千万倍.可能就直接导致最终结果毫无参考价值了.所以一定要确保采集的数据准确性!

2 利用写入即可查询分析特性,对IoT日志数据进行实时分析?有哪些应用场景?
~其实应用有很多地方,我有参与一个项目,用在工厂内部的资源调配及设备分布场景
3 还可以完成哪些有价值、有意思的事情?
~这其实可以引入目前最热的AI技术,数据是资源,AI来做决定,连入执行系统!数据量越大、可变因素越多、大脑做出的决定也会越精准.一个完美的实时城市管理系统就可以上线了

0

微wx笑 已获得云栖社区T恤

1 如何进行千万设备的日志统一采集,管理,与问题定位与告警?
图中的架构不错。
2 利用写入即可查询分析特性,对IoT日志数据进行实时分析?有哪些应用场景?
给电梯生命,可以实时了解电梯各器件的损耗状态,电梯运行状态。
3 还可以完成哪些有价值、有意思的事情?
风车远程检修?

1

豫象网络

点赞的明年发大财
10c58de439bf42dc9956e45b57bc1ded_1_1514381878.196783.jpg

0

1058114126233347

巨能聊

1

it小子

怎么参与的人数这么少

0

漂移

另外,还可以引入tensorflow做数据分析
0

漂移

ELK首选,sql数据库最好改成nosql数据库,什么redis,cassandra,都推荐使用.app管理用docker或者kubernetes
0

lidoooudou

朕已阅,爱卿退下吧。

0

cjsoldier

利用写入即可查询分析特性,对IoT日志数据进行实时分析?有哪些应用场景?

所谓的实时得加上一个时间窗口,比如1天或者1小时。而且数据分片的个数要尽量预估的准确些。全库的统计可以将每一个时间段的数据卷起来。应用场景不知道。

0

少帅哥哥

对于一个打工仔来说怎么样才能参与人工智能领域呢?我能做什么呢

0

骐源

嗯,这个有点懵,工业场景不熟悉不知从何说起!

0

jdgong

希望越做越好。日志采集可以用flume

0

jackxia

刚刚好最近在给公司整理日志功能,很有帮助,谢谢

0

1277914370539357

以后参与的人会越来越多吧

0

1277914370539357

以后参与的人会越来越多吧

2
9816
浏览
0
收藏
邀请他人互动
关注
17
粉丝
1350
话题
1

简介:

阿里云计算高级专家,擅长领域日志分析与处理。 微博: http://weibo.com/sandbeach 博客: https://aboutlog.wordpress.com/
针对日志类数据的一站式服务,用户无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能,帮助提升运维、运营效...

阿里云专门为物联网领域的开发人员推出的,其目的是帮助开发者搭建安全性能强大的数据通道,方便终端(如传感器、执行器...

提供基于开源Elasticsearch及商业版X-pack插件,致力于数据分析、数据搜索等场景服务。在开源Ela...

为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本...