与loghub相关精彩内容-云栖社区-阿里云

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

作者: 伯箫 5344人浏览

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能，支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。本文以LogHub为数据源，收集ECS上的日志数据，通过Spark Streaming SQL进行聚合后，将流计算结果数据实时写入Tablestore，展示一个简单的日志监控场景。

监控 TableStore SQL 日志日志服务 SLS spark ots EMR 表格存储流计算 sparkstreaming loghub StreamCompute 聚合

X-Pack Spark对接阿里云日志服务LogHub

作者: 云覆bill 1967人浏览

概述 X-Pack Spark分析引擎是基于Spark提供的复杂分析、流式处理、机器学习的能力。Spark分析引擎可以对接阿里云的多种数据源，例如：云HBase数据库、MongoDB、Phoenix等，同时也支持对接阿里云日志服务LogHub。

日志日志服务数据库同步 spark aliyun string 数据同步 html varchar loghub Streaming 数仓离线 x-pack

使用EMR-Flume将非EMR集群的数据同步至EMR集群的HDFS

作者: light-rain 988人浏览

E-MapReduce从3.20.0版本开始对EMR-Flume新增了Log Service Source。借助Log Service的Logtail等工具，可以将需要同步的数据实时采集并上传到LogHub，再使用EMR-Flume将LogHub的数据同步至EMR集群的HDFS

大数据分布式系统与计算实时系统 hdfs LOG 配置集群 agent 同步 EMR 数据同步 flume loghub LogService

日志服务(SLS)-服务日志全面升级

作者: liketic 1932人浏览

日志服务服务日志全新升级，支持更多日志类型，更多自定义配置和更少的logstore，多数日志类型完全免费。

日志日志服务 SLS LOG Image Logtail 消费 loghub oplog 消费组服务日志延时日志计量日志

LogHub新增公网IP/服务端到达时间标签

作者: liketic 2260人浏览

日志服务LogHub功能新增加了两种默认标签：日志写入客户端的公网IP地址和服务端接受日志的时间。客户端公网IP可以用于统计客户端的位置分布。服务端到达时间可以统计日志的实际到达服务端的时间。

云栖社区移动开发与客户端 java 监控 storm 日志日志服务 SLS sdk IP 流计算日志分析 Blink loghub 消费组

日志采集中的关键技术分析

作者: 中间件小哥 7309人浏览

从日志投递的方式来看，日志采集又可以分为推模式和拉模式，本文主要分析的是推模式的日志采集。

linux 阿里云日志配置 agent inotify 存储文件 kafka ELK 日志采集 datahub loghub

使用LogHub进行日志实时采集

作者: 简志 16667人浏览

日志服务[LogHub功能](~~43721~~)提供日志数据实时采集与消费，其中实时采集功能支持30+种手段，这里简单介绍下各场景的采集方式。

日志 loghub

存储与计算分离：OSS构建表 + 计算引擎对接

作者: 唐恺 15365人浏览

看到标题，可能有用户要问：OSS不是用来存图片、视频、及文件的吗，还可以在上面建表、数仓？计算效率和经济性表现怎么样？本文先给出基本结论： OSS是什么? 对象存储（Object Storage Service，简称OSS）是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务，是一种面向互联网的大规模、通用存储，提供RESTful API，具备容量和处理的弹性扩展能力。

大数据阿里云 OSS HTTPS SLS aliyun e-mapreduce csv 存储数据存储 Parquet MaxCompute loghub