1. 云栖社区>
  2. 全部标签>
  3. #loghub#
loghub

#loghub#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。

监控 TableStore SQL 日志 日志服务 SLS spark ots EMR 表格存储 流计算 sparkstreaming loghub StreamCompute 聚合

X-Pack Spark对接阿里云日志服务LogHub

概述 X-Pack Spark分析引擎是基于Spark提供的复杂分析、流式处理、机器学习的能力。Spark分析引擎可以对接阿里云的多种数据源,例如:云HBase数据库、MongoDB、Phoenix等,同时也支持对接阿里云日志服务LogHub。

日志 日志服务 数据库 同步 spark aliyun string 数据同步 html varchar loghub Streaming 数仓 离线 x-pack

使用EMR-Flume将非EMR集群的数据同步至EMR集群的HDFS

E-MapReduce从3.20.0版本开始对EMR-Flume新增了Log Service Source。借助Log Service的Logtail等工具,可以将需要同步的数据实时采集并上传到LogHub,再使用EMR-Flume将LogHub的数据同步至EMR集群的HDFS

大数据 分布式系统与计算 实时系统 hdfs LOG 配置 集群 agent 同步 EMR 数据同步 flume loghub LogService

日志服务(SLS)-服务日志全面升级

日志服务服务日志全新升级,支持更多日志类型,更多自定义配置和更少的logstore,多数日志类型完全免费。

日志 日志服务 SLS LOG Image Logtail 消费 loghub oplog 消费组 服务日志 延时日志 计量日志

LogHub新增公网IP/服务端到达时间标签

日志服务LogHub功能新增加了两种默认标签:日志写入客户端的公网IP地址和服务端接受日志的时间。客户端公网IP可以用于统计客户端的位置分布。服务端到达时间可以统计日志的实际到达服务端的时间。

云栖社区 移动开发与客户端 java 监控 storm 日志 日志服务 SLS sdk IP 流计算 日志分析 Blink loghub 消费组

日志采集中的关键技术分析

从日志投递的方式来看,日志采集又可以分为推模式和拉模式,本文主要分析的是推模式的日志采集。

linux 阿里云 日志 配置 agent inotify 存储 文件 kafka ELK 日志采集 datahub loghub

使用LogHub进行日志实时采集

日志服务[LogHub功能](~~43721~~)提供日志数据实时采集与消费,其中实时采集功能支持30+种手段,这里简单介绍下各场景的采集方式。

日志 loghub

存储与计算分离:OSS构建表 + 计算引擎对接

看到标题,可能有用户要问:OSS不是用来存图片、视频、及文件的吗,还可以在上面建表、数仓?计算效率和经济性表现怎么样? 本文先给出基本结论: OSS是什么? 对象存储(Object Storage Service,简称OSS)是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务,是一种面向互联网的大规模、通用存储,提供RESTful API,具备容量和处理的弹性扩展能力。

大数据 阿里云 OSS HTTPS SLS aliyun e-mapreduce csv 存储 数据存储 Parquet MaxCompute loghub

日志服务接入方式之log producer library

Producer Library解决的问题: 客户端日志不落盘:既数据生产后直接通过网络发往服务端。 客户端高并发写入:例如一秒钟会有百次以上写操作。 客户端计算与IO逻辑分离:打日志不影响计算耗时。

SLS loghub

日志服务接入方式之loghub log4j appender

使用Loghub Log4j Appender,您可以控制日志的输出目的地为阿里云日志服务,使用Loghub Log4j Appender的好处 客户端日志不落盘:既数据生产后直接通过网络发往服务端。 对于已经使用log4j记录日志的应用,只需要简单修改配置文件就可以将日志传输到日志服务。 异

SLS log4j loghub

《银行的一天》演示日志处理保序、不丢、不重

日志处理是一个很大范畴,其中包括实时计算、数据仓库、离线计算等众多的点。这篇文章主要目的为了讨论如何在实时计算场景中,如何能做到日志处理保序、不丢失、不重复,并且在上下游业务系统不可靠(存在故障),业务流量剧烈波动情况下,如何保持这三点。

流计算 loghub 日志处理

日志服务(原SLS)新功能发布(15)--控制台支持查看协同消费组(ConsumerGroup)消费进度

日志服务中分区(Shard)是每个日志库下基本读写单元,每个分区能承载一定量的服务能力,随着日志数据不断增加,需要通过分裂增加Shard数量,对于多个Shard如果直接通过PullLogs接口拖取数据的话,需要处理负载均衡和故障恢复等各种问题

日志服务 kafka loghub 协同消费

使用Logtail收集各网络日志数据

日志服务提供各种内网、私网、公网等[访问点](https://help.aliyun.com/document_detail/29008.html),可以非常便捷地将混合网络中的数据进行接入

日志服务 loghub 外网 接入 云服务器ECS

日志处理实战:一个外卖网站解决方案(持续更新中)

“我要点外卖“是一个平台型电商网站,用户、餐厅、配送员等。用户可以在网页、App、微信、支付宝等进行下单点菜;商家拿到订单后开始加工,并自动通知周围的快递员;快递员将外卖送到用户手中。我们希望通过该网站的案例,教会大家如何通过日志进行商业运营与决策。

日志服务 SLS 日志分析 loghub

日志服务接入方式之Unity 3D篇

通过Web Tracking功能非常方便的收集Unity 3D的日志,这篇文章将以收集Unity Debug.Log为例,讲解如何将Unity日志收集到日志服务中。

Game UNITY loghub

日志服务接入方式之JS篇

本篇主要介绍使用JS SDK收集浏览器端的数据,附件是我们提供的JS库,使用它可以非常方便的收集浏览器端的信息,比如用户操作系统类型、浏览器类型和版本、屏幕分辩率等。除此以外,JS SDK还支持收集用户自定义的数据,比如在事件响应中收集特定的信息。

javascript js loghub

1
GO