Lambda plus: 云上大数据解决方案

  1. 云栖社区>
  2. 博客>
  3. 正文

Lambda plus: 云上大数据解决方案

Dendi 2019-05-31 15:24:32 浏览809
展开阅读全文

本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。

大数据处理的挑战

现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要使用大数据系统结合VaR(value at risk)或者机器学习方案进行信贷风控,零售、餐饮行业需要大数据系统实现辅助销售决策,各种IOT场景需要大数据系统持续聚合和分析时序数据,各大科技公司需要建立大数据分析中台等等。
抽象来看,支撑这些场景需求的分析系统,面临的都是大致相同的技术挑战:

  • 业务分析的数据范围横跨实时数据和历史数据,既需求低延迟的实时数据分析,也需求对PB级的历史数据进行探索性的数据分析;
  • 可靠性和可扩展性问题,用户可能会存储海量的历史数据,同时数

网友评论

登录后评论
0/500
评论
Dendi
+ 关注