已有6人关注此标签
日志服务中提供了消费组能够以流的方式获取日志,使用消费组获取日志的优点在于,用户无需关心日志服务的实现细节和消费者之间的负载均衡、failover等,只需要专注于业务逻辑即可。 一个消费组由多个消费者构成,这多个消费者共同消费一个Logstore中的数据,消费者之间不会重复消费数据。
场景问题 通过SQL分析出实际场景中的数据,如果有数据缺失怎么办? 在折线图中如果有一些显著的异常点,能否主动的标记出来? 能否自定义某个观测指标的区间,在折线图中,添加区间的绘制能力? 能否支持多张图表在相同的时间轴上的联动操作? 基础数据的提取 假设我们现在有一个网站的访问日志,我们去找某个域名("aaa.aliyun.log.com"),访问的路径为("/account/query") 的分钟级别的流量,通过如下SQL,我们可以得到一条时序曲线,我们选择普通的折线图,我们可以发现,折线图中横坐标显示的比较凌乱,没有很好的适应数据本身对时间进行格式化。
日志服务集成 Spark 流式计算:使用Spark Streaming和Structured Streaming对采集到日志服务中的数据进行消费,计算并将结果写回到日志服务。
大数据 日志 日志服务 SLS LOG sdk spark aliyun 流计算 sparkstreaming 日志采集 日志处理 StructuredStreaming aliyun-log