Serverless日志处理挑战与方案

本文涉及的产品
简介: 本文PPT来自阿里云的简志于10月16日在2016年杭州云栖大会上发表的《Serverless日志处理挑战与方案》。

本文PPT来自阿里云的简志于10月16日在2016年杭州云栖大会上发表的《Serverless日志处理挑战与方案》。

随着Serverless架构变得越来越流行,它不仅给研发与运营方面带来了便捷,同时也提出的新挑战,这是由于以下三个因素:1. 市场节奏变快,由卖方市场到买方市场成熟时间变短 2.云对技术影响大,运维转向运营,上线周期缩短 3.数据改变运营,需要收集百万用户行为,并实时提升游戏。

此外,由于Serverless架构同时影响了传统的计算与日志模式,所以Serverless也对日志处理提出了挑战。具体而言,这里挑战包括:

1.技术挑战,因为日志信息有多个来源,如应用打点、用户访问、程序日志,并且通过容器、移动端、网页端多种渠道,所以需要多渠道、多维度、多种处理方法。
2.规模挑战,面对上百万同时在线的用户所产生的数据,系统应利用这些日志更快地解决问题,这要就系统能处理大量数据,并且实时性强。

3.业务挑战,对于运营、运维报表,系统应快速响应并处理,对每一份数据都提供多个产出。

面对这些挑战,阿里云对应提供了日志服务。这个系统由LogHub、LogSearch和LogShipper三部分组成,其中LogHub负责采集和消费日志,LogSearch负责索引和查询日志,LogShipper则负责日志投递。这里日志采集模块主要是在Docker环境下进行,能够采集Stdout日志和文件日志,并且具有无特殊配置、弹性伸缩和Pb级大规模应用等特性。其他模块还包括以下功能:为应用添加更多采集点、日志清洗与ETL、弹性伸缩能力、日志在线离线对接、日志索引与查询、链路跟踪与山下文查询等。未来,在日志服务2.0时代,阿里将在模糊查询、可伸缩储存和支持对接更多处理方案三大方面持续研究。

db20324f6df2ab8c1fd6e0098a5eca106ccbe3ca
434954cdf409fb33891f8138e66a9c6430da82e6
22ab47a3dc9d6cd9d7eca697c170a780fd81993b
b1d165b6649035ee5c5a3b09afd1e217b1d087d3
f8fa692c56133e69c16472cf9dfa94e546036678
f64c363504a42bba3cc17b5c1ec8381875a27024
a71ce5ff45b3776a1973be5a055374adb7092b88
40ea40eeff1f86e5a14a7d38ae46bd743cb40a5f
7ef99388c525fe70decea34ad15e86792e21b0bc
95dc6f49f482bad7d061cf01524745b91fcc5c29

66b04b8b4cedbc32df8aa1577941e05dc51f7e74
6b6597f9d4df8c949afb692dca26b1dadf050607
e7ffe3ebf64a374ef0b4f1ea4d2c668e47f1f38f
相关实践学习
基于函数计算一键部署掌上游戏机
本场景介绍如何使用阿里云计算服务命令快速搭建一个掌上游戏机。
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
26天前
|
监控 Serverless 数据库
Serverless 应用引擎常见问题之biphon-education-配置了SLS后一直重启如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
28 5
|
6月前
|
运维 安全 API
统一接入API赋能开发者:自动高效、灵活编排的云产品日志采集方案
随着企业对网络安全和数据安全防护水平要求的逐步提升,企业管理对企业生产运维过程中所产生的日志数据,在留存处理、权限隔离、跨境合规、数据汇总等方面提出了更高阶的需求。为了满足大客户及一些国际化客户安全合规、简单快速地接入日志、使用日志、操作日志,我们提出了一种新的解决方案——“云产品统一接入API”。统一接入API主要针对阿里云云产品日志类型,以API的方式提供企业或组织用户快速上手,编排灵活的日志采集方案。
|
27天前
|
存储 SQL Serverless
Serverless 应用引擎常见问题之应用下的【应用事件】以及企业级特性下的【事件中心】没有日志如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
34 0
|
5月前
|
Serverless
函数计算FC sd执行的日志在哪
函数计算FC sd执行的日志在哪看啊?
35 1
|
1月前
|
Web App开发 监控 应用服务中间件
全新架构!日志服务 SLS 自研免登录方案发布
全新架构!日志服务 SLS 自研免登录方案发布
87432 7
|
5月前
|
存储 缓存 前端开发
两种异步日志方案的介绍
两种异步日志方案的介绍
78 0
|
2月前
|
消息中间件 设计模式 Java
spdlog中的异步日志方案
spdlog中的异步日志方案
220 2
|
7月前
|
存储 SQL 监控
一文解读如何落地企业级云上日志审计方案
近年来,随着云计算的广泛应用和企业上云的深度普及,许多企业或个人用户将各种日志托管在云上进行留存,从而进行查询、审计等操作。什么是日志审计?为什么要做日志审计?企业如何落地云上日志审计方案?带着这些问题出发,本文将以阿里云日志服务(SLS)旗下的日志审计服务为视角切入,带领读者从当今网络安全形势和法律法规要求出发,解读云计算背景下,如何构建、运行、实践一个标准的企业级云上审计方案,从而更好地保障企业或组织的云上资产、云上数据的安全,确保企业业务持续安全稳定地运行。
|
3月前
|
监控 Java Serverless
Serverless应用引擎日志问题之日志不显示如何解决
Serverless部署是指将应用程序部署到无服务器架构中,该架构允许开发者专注于代码而无需关心底层服务器的运行和维护;针对Serverless部署过程中可能遇到的挑战,本合集提供全面的指南和最佳实践,帮助开发者顺利实现应用的无服务器化部署。
|
3月前
|
存储 监控 Serverless
在处理阿里云函数计算3.0版本的函数时,如果遇到报错但没有日志信息的情况
在处理阿里云函数计算3.0版本的函数时,如果遇到报错但没有日志信息的情况【1月更文挑战第23天】【1月更文挑战第114篇】
63 5

相关产品

  • 函数计算