大数据浪潮下,前端工程师眼中的完整数据链图

  1. 云栖社区>
  2. 大数据文摘>
  3. 博客>
  4. 正文

大数据浪潮下,前端工程师眼中的完整数据链图

小旋风柴进 2017-05-17 11:19:00 浏览2161
展开阅读全文


0?wx_fmt=jpeg

马云曾经说过『人类正从IT时代走向DT时代』。正如他说言,今天几乎所有的互联网公司背后都有一支规模庞大的数据团队和一整套数据解决方案作决策,这个时代已经不是只有硅谷巨头才玩数据的时代,是人人都在依赖着数据生存,可以说如今社会数据价值已经被推到前所未有的高度。


我作为一名前端工程师在阿里巴巴数据团队工作多年,深入了解数据生产加工链路与产品化。我们这群前端是与界面最近的工程师们,似乎与数据离得很远,对于我们来说与数据有些怎样连接呢。


完整数据链路


首先,我用直观的一张图绘制出数据采集到产出的流程,中间省略技术细节。

0?wx_fmt=png

业界常提到的 Hadoop,Spark,Druid 都在用户侧的下方,也就是数据研发与数据挖掘职能的工作。相对于前端职能而言,一定是与输出终端相关,包括本职工作数据类产品的研发,如阿里指数或百度指数这样的数据展示型产品,还有较为复














































































































网友评论

登录后评论
0/500
评论
小旋风柴进
+ 关注
所属云栖号: 大数据文摘