1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. R>
  5. 日志采集

当前主题:日志采集

从零开始入门 K8s | 可观测性:监控与日志

作者 | 莫源  阿里巴巴技术专家 一、背景 监控和日志是大型分布式系统的重要**基础设施**,监控可以帮助开发者查看系统的运行状态,而日志可以协助问题的排查和诊断。 在 Kubernetes 中,监控和日志属于生态的一部分,它并不是核心组件,因此大部分的能

阅读全文

30分钟全方位了解阿里云Elasticsearch(附公开课完整视频)

摘要: 阿里云Elasticsearch提供100%兼容开源Elasticsearch的功能,以及Security、Machine Learning、Graph、APM等商业功能,致力于数据分析、数据搜索等场景服务。与开源社区背后商业公司Elastic战略合

阅读全文

一篇文章玩转阿里云日志服务查询分析控制台

前言 服务器,操作系统,应用程序会产生日志,每个独立的系统内部都会有一套日志系统,依靠这些日志才能在系统出现问题的时候进行排查修复,如何去利用好日志就成为了业务飞速发展道路上的一道难题。阿里云日志服务在提供一站式接入服务的同时,还具备强大的日志查询功能,下面

阅读全文

从 Storm 到 Flink,汽车之家基于 Flink 的实时 SQL 平台设计思路与实践

作者:王刚、刘首维 在 2019 年之前,之家的大部分实时业务都是运行在 Storm 之上的。Storm 作为早期主流的实时计算引擎,凭借简单的 Spout 和 Bolt 编程模型以及集群本身的稳定性,俘获了大批用户。下图是实时计算团队 Storm 平台页面

阅读全文

基于交互式分析搭建的典型应用场景

交互式分析经过在阿里巴巴集团近3年的沉淀,已覆盖上百个业务团队,今天小编将会从技术的角度为大家解读交互式分析的架构亮点,以及基于交互式分析架构搭建的典型应用场景介绍。 架构介绍 # 系统架构 底层存储在盘古系统中,存储计算分离,并与MaxCompute在底层

阅读全文

Java工程师学习指南(完结篇)

Java工程师学习指南 完结篇 先声明一点,文章里面不会详细到每一步怎么操作,只会提供大致的思路和方向,给大家以启发,如果真的要一步一步指导操作的话,那至少需要一本书的厚度啦。 因为笔者还只是一名在校生,所以写的内容主要还是针对Java初学者或者接触Java

阅读全文

使用Spark Streaming SQL进行PV/UV统计

作者:关文选,花名云魄,阿里云E-MapReduce 高级开发工程师,专注于流式计算,Spark Contributor 1.背景介绍 PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析,例如广告主可以通过PV值预估投放广告网页

阅读全文

一文读懂分布式架构知识体系(内含超全核心知识大图)

作者 | 晓土  阿里巴巴高级工程师 姊妹篇阅读推荐:**《**云原生时代,分布式系统设计必备知识图谱(内含22个知识点)**》** 导读:本文力求从分布式基础理论、架构设计模式、工程应用、部署运维、业界方案这几大方面,介绍基于 MSA(微服务架构)的分布式

阅读全文

日志采集相关问答

查看更多 提问题

Logstash采集文件名称以及自定义格式的日志文件采集

filebeat或者Logstash支持采集自定义格式的文件吗?比如日志文件后缀是xml和一些自定义后缀的文本文件,或者单纯的采集文件名称吗?

阅读全文

logstash日志采集工具支持哪些格式的日志文件

有没有logstash采集不了的日志文件格式?如果是自定义的也可以自动分辨然后处理成json格式吗

阅读全文

如果单个agent需要采集的数据过多,是否有优先级控制?比如高优保障采集某一部分日志

如果单个agent需要采集的数据过多,是否有优先级控制?比如高优保障采集某一部分日志

阅读全文

我有一些采集的日志,里面有用户访问的URL,我想统计处访问URL的top 5 ,想问下大概要怎么做。

我有一些采集的日志,里面有用户访问的URL,我想统计处访问URL的top 5 ,想问下大概要怎么做。

阅读全文

日志服务采集不到数据

1、java日志文件是保存在本地且每一天产生一个日志文件。日志服务器 怎么实现 数据采集并且是一次采集 某文件更新的1mb数据。 2、请看以下代码 为什么不能保存至日志服务器 纠结很久了 没什么头绪 Client client = new Clie

阅读全文

日志服务如何设置采集cdn日志?

想对cdn日志做实时分析,请问日志服务如何设置采集cdn日志?

阅读全文

如何上传 Int 值的日志内容

通过 SDK 和 API 上传日志的时候,Content 的 Key-Value 的值必须为一个 String。但我这边需要上传一个值为 Int 类型的数据,查询时候需要。 我看查询文档里是有针对 Int 的比较语法的,比如:查询某个字段下大于或等于某个

阅读全文

你好,我们本地服务器每天采集的网站日志有10+G,然后上传至maxcompute,上传速度特别慢,请问有没有好的解决方法?谢谢!是tunnel upload,200k/s左右

你好,我们本地服务器每天采集的网站日志有10+G,然后上传至maxcompute,上传速度特别慢,请问有没有好的解决方法?谢谢!是tunnel upload,200k/s左右

阅读全文