1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. K>
  5. kafka 日志收集

当前主题:kafka 日志收集

kafka 日志收集相关的博客

查看更多 写博客

Knative 实战:基于阿里云 Kafka 实现消息推送

在 Knative 中已经提供了对 Kafka 事件源的支持,那么如何在阿里云上基于 Kafka 实现消息推送,本文给大家解锁这一新的姿势。 背景 消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 fo

阅读全文

从 Storm 到 Flink,汽车之家基于 Flink 的实时 SQL 平台设计思路与实践

作者:王刚、刘首维 在 2019 年之前,之家的大部分实时业务都是运行在 Storm 之上的。Storm 作为早期主流的实时计算引擎,凭借简单的 Spout 和 Bolt 编程模型以及集群本身的稳定性,俘获了大批用户。下图是实时计算团队 Storm 平台页面

阅读全文

从零开始入门 K8s | 可观测性:监控与日志

作者 | 莫源  阿里巴巴技术专家 一、背景 监控和日志是大型分布式系统的重要**基础设施**,监控可以帮助开发者查看系统的运行状态,而日志可以协助问题的排查和诊断。 在 Kubernetes 中,监控和日志属于生态的一部分,它并不是核心组件,因此大部分的能

阅读全文

【转载】时隔一年多,我又用起了 Superset

去年 6 月份在流利说提离职后,leader 问我为什么要走。我说,流利说有很健全的数据处理基础设施,但这不是所有的公司都会有的条件,所以我想看看在一个基建不全的创业公司我是否也可以像现在一样做的好。 7 月份正式离职到了现在的公司,一开始靠数着运营后台的订

阅读全文

Apache Flink 在同程艺龙实时计算平台的研发与应用实践

本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大家参考。 1.背景介绍 在 2015 年初,为了能够采集到用户在 PC,APP 等平

阅读全文

SIA-GateWay之API网关安装部署指南

SIA-GATEWAY是基于SpringCloud微服务生态体系下开发的一个分布式微服务网关系统。具备简单易用、可视化、高可扩展、高可用性等特征,提供云原生、完整及成熟的接入服务解决方案。本文介绍API网关的安装部署。 一、环境 1.1 编译环境 Maven

阅读全文

Kafka实战(三) -Kafka的自我修养

**Apache Kafka是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform)** Kafka是LinkedIn公司内部孵化的项目。LinkedIn最开始有强烈的数据强实时处理方面的需求,其内部的诸多子系

阅读全文

日志收集-Elk6

一:前言 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器

阅读全文