2016美国QCon思考:通过Quora和Spotify案例,直击数据处理背后的魅影

  1. 云栖社区>
  2. 阿里云数据库ApsaraDB>
  3. 博客>
  4. 正文

2016美国QCon思考:通过Quora和Spotify案例,直击数据处理背后的魅影

猫头鹰子嘉 2016-11-10 18:22:18 浏览3633
展开阅读全文

编者按:大数据的题目看起来好写,因为大家似乎都懂,但是其实也难写,因为太大了,没有具体的问题很难写出有营养的东西,所以今天选取两个QCon比较典型的例子来管中一窥大数据的魅影。

    有的同学很困惑米国人不看知乎怎么知道那么多知识呢?米国人当然看Quora啦,Quora是一个问答社交软件,问答社交的特点就是有各种各样的计数器,比如帖子的支持、反对、评论数量,用户的关注、粉丝数量等等,随着用户量的增加、帖子的增多、以及带来的互动的增长,Quora处理的数据也是爆炸式增长。Quora从第一天开始就长在云上(AWS),生产环境使用MySQL和HBase做存储,使用RefShift和Spark用来做数据分析,在这些组件的基础上Quora做了一个数据服务叫Quanta,Quanta的设计约束是:

A:数据更新之后不能丢失,要求持久化到disk

网友评论

登录后评论
0/500
评论
猫头鹰子嘉
+ 关注
所属云栖号: 阿里云数据库ApsaraDB