唐恺 + 关注
阿里云存储服务技术专家

唐恺 发表了文章:

日志大数据的分层存储与分析实践

发布时间:2020-08-18 23:21:55 浏览:19 回帖 :0

我们正处于大数据、多样化数据(非结构化)的时代,实时的机器数据快速产生,做一家数据公司的核心之一是如何充分利用好大量日志数据。本文将为大家介绍在 SLS 上兼顾日志数据灵活性、经济性的存储策略与实践。

大数据 OSS 日志 SLS Image 索引 存储

唐恺 发表了文章:

SLS数据处理实践:加工延迟篇

发布时间:2020-02-26 14:53:30 浏览:1032 回帖 :0

在日志服务,数据加工功能(功能介绍)用于完成对Logstore数据的预处理,为后续的分析阶段准备数据。本文主要介绍数据加工实践中可能遇到的延迟问题,帮助大家理清延迟现象背后的原因,以及如何去监控、解决...

etl 日志 日志服务 SLS 数据处理 Image cdn 正则表达式 aliyun html 延迟 预处理 数据加工

唐恺 评论了文章:

python 性能分析利器 py-spy

发布时间:2020-01-03 18:06:38 浏览:1693 回帖 :2

python 内存泄漏工具以及性能瓶颈分析工具分享。

云栖社区 python 函数 性能 排序 内存泄漏

“赞”

唐恺 发表了文章:

Fivetran:自动化数仓集成服务

发布时间:2019-12-30 21:29:43 浏览:1908 回帖 :0

Fivetran提供SaaS服务,它连接到业务关键数据源,提取并处理所有数据,然后将其转储到仓库中,以进行SQL访问和必要的进一步转换。

函数 加密 数据仓库 Image 同步 对象存储 schema 存储

唐恺 发表了文章:

日志服务数据加工的设计与实践

发布时间:2019-11-05 15:34:50 浏览:1909 回帖 :0

在日志类数据成为生产资料得到越来越多关注的今天,日志服务数据加工抽象了规整、分发、富化等操作,帮助数据在阿里云服务和开源生态间流动起来,让日志分析变得更容易。

分布式系统与计算 etl 日志 日志服务 SLS 数据处理 数据采集 存储

唐恺 发表了文章:

日志服务(SLS)数据加工功能发布

发布时间:2019-08-08 16:47:53 浏览:6780 回帖 :0

日志服务用户,您好! 针对日志生命周期内存在的各种数据规整、分发、富化、清洗场景需求,阿里云日志服务(SLS)新推出了“数据加工”功能。 推荐在日志服务上进行数据规整、加工或联合其它数据源做分析...

etl 日志 日志服务 SLS 钉钉 aliyun 金融云 日志分析 数据加工

唐恺 评论了文章:

ALiyun LOG Go Consumer Library 快速入门及原理剖析

发布时间:2019-03-15 18:01:36 浏览:8196 回帖 :7

Aliyun LOG Go Consumer Library是用go语言编写的协同消费库,主要处理多个消费者同时消费logstore时自动分配shard问题。 其中消费组会自动处理shard的负载均衡...

Golang Go 函数 日志 LOG 线程 高并发 配置 负载均衡 aliyun string 多线程 Consumer groutine

“支持go语言了,赞”

唐恺 发表了文章:

Serverless下日志采集、存储、分析实践

发布时间:2018-10-23 10:51:28 浏览:9277 回帖 :0

本文重点介绍了Serverless的发展以及这个浪潮下日志所扮演的角色,并通过阿里云日志服务提供的实时采集、可靠存储、交互式分析能力,为用户搭建Serverless应用日志处理架构提供了两个实...

OSS 日志 LOG 容器 负载均衡 Logtail slb kubernetes k8s 日志分析 日志采集 serverless 日志查询 livetail 无服务化

唐恺 评论了文章:

阿里云新功能:EIP高精度实时互联网流量秒级监控(可能是史上最好用的实时流量监控)

发布时间:2018-07-09 20:30:00 浏览:8503 回帖 :1

今天,阿里云借助强大的自身研发能力和产品化能力,为用户提供了秒级业务流量监控能力,监控精度提升到1秒,较之前的精度提升了60倍。借助秒级监控功能,用户可以实时的掌控瞬息万变的互联网业务流量波动情况。

云栖社区 架构 监控 日志 互联网 用户体验 Image 控制台 报表 带宽 存储

“可以实时交互的监控报表,支持api方式调用查询”

唐恺 发表了文章:

LC3视角:Kubernetes下日志采集、存储与处理技术实践

发布时间:2018-07-05 09:49:09 浏览:14134 回帖 :1

在Kubernetes服务化、日志处理实时化以及日志集中式存储趋势下,Kubernetes日志处理上也遇到的新挑战,包括:容器动态采集、大流量性能瓶颈、日志路由管理等问题。本文介绍了“Logtail ...

架构 docker 性能 日志 日志服务 配置 容器 node Logtail 存储 kubernetes k8s 日志采集 日志处理

唐恺 发表了文章:

SLB访问日志分析:基于客户端来源和HTTP状态码的实践

发布时间:2018-07-04 20:25:45 浏览:5319 回帖 :1

阿里云负载均衡SLB可以对多台云服务器(ECS)进行流量分发,支持TCP的四层负载均衡和基于HTTP/HTTPS的七层负载均衡。使用SLB可以降低单台ECS异常时对业务的冲击,提升系统可用性。同时,结...

服务器 日志 日志服务 request 负载均衡 aliyun slb html 访问日志 日志分析

唐恺 发表了文章:

用好SLB访问日志,做实时可视化分析

发布时间:2018-05-07 16:44:47 浏览:5650 回帖 :2

阿里云SLB是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 负载均衡对于大部分云上架构来说都是基础设施组件,地位非常重...

服务器 日志 日志服务 LOG 负载均衡 aliyun slb 访问日志 日志分析 可视化分析

唐恺 评论了文章:

10分钟轻松定制网站日志分析大盘

发布时间:2018-03-19 15:46:57 浏览:5754 回帖 :2

前言 作为站长的你是否也曾想针对站点访问日志信息,分析其中PV、UV、访问地域分布以及访问前十页面等情况。 作为开发者的你是否也想记录应用的日志信息,针对top方法进行优化从而提升应用质量。 作...

前端与交互设计 日志服务 日志分析

“网络上的流图也可以展示了”

唐恺 评论了文章:

开放分布式追踪(OpenTracing)入门与 Jaeger 实现

发布时间:2018-03-06 19:22:38 浏览:43227 回帖 :7

分布式系统的运维挑战 容器、Serverless 编程方式的诞生极大提升了软件交付与部署的效率。在架构的演化过程中,可以看到两个变化: 应用架构开始从单体系统逐步转变为微服务,其中的业务逻辑随...

分布式 架构 Golang 运维 日志 日志服务 LOG 微服务 trace aliyun API html 分布式追踪 OpenTracing Jaeger

“全面的介绍,视频演示也很棒。”

唐恺 评论了文章:

全面提升,阿里云Docker/Kubernetes(K8S) 日志解决方案与选型对比

发布时间:2018-02-08 14:38:36 浏览:24294 回帖 :5

今天,日志服务再次升级Kubernetes(k8s)的日志解决方案。1分钟内即可完成整个集群部署,支持动态扩容,提供采集宿主机日志、容器日志、容器stdout等所有数据源的一站式采集。

云栖社区 监控 docker 性能 日志 日志服务 配置 集群 容器 Logtail 解决方案 kubernetes k8s 采集

“教学视频不错”

唐恺 评论了文章:

新功能:阿里云负载均衡支持访问日志功能(可能是这个星球上最好用的访问日志)

发布时间:2018-02-03 02:01:10 浏览:12090 回帖 :8

1. Greetings :) 2. 什么是负载均衡访问日志 3. 负载均衡访问日志有什么作用 4. 如何使用负载均衡访问日志功能 4.1. 开通访问日志 4.2. 查询访问日志 4.

大数据 服务器 日志 Image 负载均衡 控制台 弹性计算 运营 存储 访问日志 大数据分析 商业BI

“让访问日志分析更加方便了”

唐恺 评论了文章:

10分钟搭建MySQL Binlog分析+可视化方案

发布时间:2018-01-08 15:51:51 浏览:15042 回帖 :2

日志服务 最近在原有30+种数据采集渠道 基础上,新增MySQL Binlog、MySQL select等数据库方案,仍然主打快捷、实时、稳定、所见即所得的特点。 以下我们以用户登录数据库作为案例,...

mysql 日志 日志服务 数据库 查询 配置 Logtail 同步 aliyun 索引 binlog html 可视化 客服

“db数据的另一种分析方案”

唐恺 发表了文章:

1分钟构建API网关日志解决方案

发布时间:2017-12-29 23:44:45 浏览:8628 回帖 :2

访问日志(Acccess Log)是由web服务生成的日志,每一次api请求都对应一条访问记录,内容包括调用者IP、请求的URL、响应延迟、返回状态码、请求和响应字节数等重要信息。 阿里云API网关...

日志 日志服务 配置 钉钉 aliyun API 报表 访问日志 日志分析 API网关 日志查询

唐恺 评论了文章:

Logtail技术分享(二) : 多租户隔离技术+双十一实战效果

发布时间:2017-11-16 09:17:44 浏览:11311 回帖 :9

目前logtail已承载阿里云全站、所有云产品服务、全球各Region部署、阿里巴巴集团(淘宝、天猫、菜鸟等)上重要服务的数据采集。在集团内部一台服务存在数百个采集配置属于常态,每个配置的优先级、日志...

日志 日志服务 线程 双十一 http 配置 Logtail 数据采集 日志采集 多租户 filebeat

“经历双十一考验,顶”

唐恺 评论了文章:

5分钟搭建网站实时分析:Grafana+日志服务实战

发布时间:2017-10-26 09:45:37 浏览:77301 回帖 :9

阿里云日志服务是针对日志类数据一站式服务,用户只需要将精力集中在分析上,过程中数据采集、对接各种存储计算、数据索引和查询等琐碎工作等都可以交给服务。2017年9月日志服务加强日志实时分析功能(LogS...

nginx 阿里云 域名 HTTPS SQL 日志 分析 日志服务 http 配置 访问日志 可视化 grafana accesslog

“cool”
2
日志服务工程师

感兴趣or擅长的领域:

暂无
更多>
悟冥
悟冥
文章:19丨 粉丝:3026丨 话题:0
Evan_晓航
Evan_晓航
文章:3丨 粉丝:7丨 话题:0
amber涂南
amber涂南
文章:29丨 粉丝:2413丨 话题:1
云攻略小攻
云攻略小攻
文章:446丨 粉丝:20385丨 话题:13
吴波bruce_wu
吴波bruce_wu
文章:19丨 粉丝:73868丨 话题:0
rocaltair
rocaltair
文章:7丨 粉丝:3052丨 话题:0
更多>
游客b5a5cjz7eqm2a
游客b5a5cjz7eqm2a
文章:0丨 粉丝:0丨 话题:0
游客htofuqow47vbo
游客htofuqow47vbo
文章:0丨 粉丝:0丨 话题:0
游客lsakdqwid7hue
游客lsakdqwid7hue
文章:0丨 粉丝:0丨 话题:0
游客rjjxamhhuilg6
游客rjjxamhhuilg6
文章:0丨 粉丝:0丨 话题:0
游客ctcqko3fhzm7w
游客ctcqko3fhzm7w
文章:0丨 粉丝:0丨 话题:0
游客4o7naryv4e3gs
游客4o7naryv4e3gs
文章:0丨 粉丝:0丨 话题:0