1. 云栖社区>
  2. 全部标签>
  3. #日志处理#
日志处理

#日志处理#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

阿里面试:说说你项目里使用的 MQ ,分布式系统中 MQ 作用?

开篇思考 MQ 为什么在系统中使用?一定要在分布式系统中使用吗? MQ 有哪些中间件?他们有哪些特点? MQ 给系统带来好处的同时有没有带来什么问题?如何解决? 在阿里的面试中,面试官问到关于 MQ 的几个问题: 你的项目中 MQ 的作用? 为什么选择这款 MQ 作为消息中间件? 重复消费怎么办? 如何确保消息被消费? 有遇到其他问题吗?那么接下来带着问题先思考下,有好的想法可以在评论区留言,大家一起分享。

分布式 消息系统 架构 消息队列 日志 消息中间件 中间件 MQ 秒杀 云服务 分布式系统 并发 github 日志处理

日志收集系统在大搜车的探索和实践

大搜车日志分为两种:业务日志和链路日志。 业务日志是业务开发人员在代码里面自己打印的日志,为方便开发人员快速查阅分布在多台机器上的日志,我们提供了业务日至平台,供开发自助接入。目前接入的系统 400+,每天产生的日志量 7 亿 +,高峰时期每秒要处理 5W+ 的日志。

性能 日志 线程 配置 集群 正则表达式 索引 存储 日志处理

【云栖号案例 | 新零售】三只松鼠2019年全平台双11用时19分23秒破亿的秘诀

大促服务节点负载压力大,难以快速补充资源!上云后资源限定优化,订单处理2527笔/分时效缩短36%,发现问题快速滚动迭代,整体感受快、稳、方便。

大数据 安全 日志 高并发 镜像 用户体验 集群 容器 aliyun 解决方案 应用管理 日志处理

Logtail新增支持自定义数据处理

信息摘要: 为处理更复杂的日志采集场景,Logtail 插件功能支持自定义数据处理模式适用客户: 所有使用日志服务用户版本/规格功能: 1. 用户可使用Logtail的处理插件以自定义模式对采集的文本日志进行复杂处理。

日志 Json 数据处理 Logtail aliyun 插件 日志处理

日志服务(SLS)集成 Spark 流计算实战

日志服务集成 Spark 流式计算:使用Spark Streaming和Structured Streaming对采集到日志服务中的数据进行消费,计算并将结果写回到日志服务。

大数据 日志 日志服务 SLS LOG sdk spark aliyun 流计算 sparkstreaming 日志采集 日志处理 StructuredStreaming aliyun-log

日均百亿级日志处理:微博基于 Flink 的实时计算平台建设

传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契,但受制于离线计算的时效性制约,越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建,目前该系统已支持日均处理日志数量超过百亿,接入产品线、业务日志类型若干。

大数据 监控 微博 日志 配置 数据仓库 stream 存储 数据存储 日志处理 实时计算 ApacheFlink 计算方案

惊!赞!日志审计服务重磅发布

云上合规“保护伞”,一键开启日志审计服务 阿里云日志审计服务,提供多账户下跨多云产品审计相关日志进行实时自动化中心化采集,并提供审计需要的存储、查询、信息汇总支持。覆盖Actiontrail、OSS、SLB、RDS、API网关等基础产品并支持自由对接到其他生态产品或自有SOC中心。

大数据 日志 aliyun 报表 存储 日志分析 日志处理 日志审计服务 云上合规

Spring AOP应用场景你还不知道?这篇一定要看!

Spring AOP应用场景你还不知道?

spring Image aop 表达式 编程 JDK SpringAOP 日志处理 java,Spring

自动化日志收集及分析在支付宝 App 内的演进

作者:曲仁军(骁然),蚂蚁金服技术专家。本文将聚焦支付宝在移动端如何构建日志自动化采集和分析能力,从而通过“数据采集、计算、分析、决策”完成针对业务性能的监控与用户行为分析。

移动开发与客户端 大数据 架构 算法 监控 实时系统 性能 日志 离线计算 数据同步 日志处理

SpringBoot三部曲之Controller统一返回ResponseData<T>

使用SpringBoot构建WEB工程,由于其三大特性,使我们把注意力更多的放在核心功能呢的编写上,这也要求我们写出更具规范的代码。 我会从三个方面去加强我的代码规范 Controller统一返回 Controller请求AOP切面日志处理(参数校验,rsa校验) Controller统...

编程语言 code string static class void hashmap 日志处理

开源 serverless 产品原理剖析(二) - Fission

Fission 是由私有云服务提供商领导开源的 serverless 产品,它借助 kubernetes 灵活强大的编排能力完成容器的管理调度工作,而将重心投入到 FaaS 功能的开发上,其发展目标是成为 AWS lambda 的开源替代品。

docker 函数 容器 service kubernetes k8s serverless 日志处理 fission

ELK stack 日志系统搭建

ELK stack是什么? ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公司名下,故有此简称。

java 日志 path 配置 集群 rpm logstash Elasticsearch source Security bootstrap 日志处理

消息队列常见的 5 个应用场景

一、简介 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。

架构 消息队列 数据可视化 日志 高可用 数据库 集群 消息中间件 Elasticsearch 日志处理

阿里P7高级架构师分享8年多的Java工作经验(跳槽涨薪必备)

很多工作了五年左右的程序员每天已经习惯了机器般的写代码,如果是这样那么你永远只会是个基础程序员,因为你不能只会用,你要知道原理,不至于让你自己实现一个出来,但是基本原理要知道。

大数据 架构 java 程序员 源码 spring 微服务 分布式计算 分布式架构 单点故障 日志处理

数字IT基础-数据采集总线

日志服务是阿里自产自用的产品,在双十一、双十二和新春红包期间承载阿里云/蚂蚁全站、阿里电商板块、云上几千商家数据链路,每日处理来自百万节点几十PB数据,峰值流量达到每秒百GB, 具备稳定、可靠、低成本,生态丰富等特性。

服务器 日志 双十一 Image cdn 数据分析 Logtail aliyun 运营 数据采集 html 流计算 日志分析 日志处理

11
GO