揭秘!阿里巴巴"大数据动态屏"系统

简介:

0.jpg

北大CIO开源兴趣小组讨论总结:杭州之行,看阿里,华三繁华,西子的妖媚,留下了脚印,也丰满了见识,结下同学师生友谊。

当然我们终归要回归的我们企业自身,哪些东西我们CIO可以借鉴,哪些东西我们可以去尝试?

其中最吸引大家眼球的应该算 "大数据屏"了吧,是否考虑在企业中也构建一个类似系统?

让我们行动行动,看看"大数据动态屏 (Dynamic Bigdata Large Screen) DBLS" 背后的BigData数据可视化技术。

如何在企业中构建阿里巴巴动态屏幕?

1.jpg

2.jpg

数据大屏的对外价值和对内价值: 员工激励,领导视察,友商考察。

系统架构:

3.jpg

硬件部分:

从网络上调查得到消息: 实时数据显示的大屏幕拼接墙是由宁波GQY视讯股份有限公司提供。网站地址: http://www.gqy.com.cn/index.asp

前段软件:

阿里巴巴数据大屏使用的是基于Flex构建的动态图标,其中涉及需要相关软件定制开发工作。

技术分类: Flash,Html5,原生代码


==基于Html5/JavaScript的工具包==

开源软件包: 百度-Echarts http://echarts.baidu.com/doc/example.html

其他Html5补充: http://www.highcharts.com/


==基于Flash的工具包: flex builder ==

商业软件包:fusioncharts http://www.fusioncharts.com/

开源软件包:open-flash-chart http://teethgrinder.co.uk/open-flash-chart/

其他补充:http://www.anychart.com/home/


后端软件: 系统基于Hadoop,Storm,Spark等后台大数据技术。

4.jpg

技术提供商: 比如 红象公司 www.redhadoop.com 美国: Hortonworks Cloudera mapR 三家。

后端数据: 数据由alibaba后台数据系统抽样得到。获取方法 alibaba taobao api , Weibo Api 等。

其他问题

==国内外那些公司开发有开源软件,如何使用? ==

国外:

www.sf.net 最古老的开源软件聚集托管地。

www.github.com 使用社交思路构建的代码托管基地,现在最火爆。

www.apache.org 大数据开源软件多来源于此。


国内:

http://www.oschina.net/ 开源中国社区

http://code.csdn.net CSDN社区

http://code.taobao.org/ 淘宝开源

企业使用开源需要一定的开发背景,使用前最好有开发能力基础。


企业那些场合需要利用Hadoop软件,对于企业技术实力有那些要求和项目投资?

当企业遇到TB级别数据需要快速处理,深度数据挖掘和分析多需要使用Hadoop了。需要一定研发基础。项目投入主要是开发和硬件投入。可以考虑使用阿里云降低前期硬件投入。


Hadoop软件和传统数据仓库分析和挖掘的区别?

核心理念是移动数据多,还是移动计算多。具体看大家数据规模。数据规模大的(TB级别),每天大量新增的。


企业是否需要构建私有云?

不管黑猫,白猫抓到老鼠就是好猫。同样不管私有云和公用云。关键还是能解决企业核心IT问题。(成本,质量,时间,安全等)

基于企业自身业务对于 带宽,硬盘,安全【Xen,Vmware,OpenStack】,还是需要混合云,如果是互联网应用,对于硬盘资源需求不大也可以考虑公有云。学校由于,利用率,场地,教学,环境复杂,保护卡等问题。考虑建设私有云居多。


原文发布时间为:2014-05-03


本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
23天前
|
存储 大数据 数据处理
PHP 与大数据:构建高效数据处理系统
传统的数据处理系统往往难以应对大规模数据的处理需求,而PHP作为一种常用的服务器端脚本语言,在数据处理方面也有其独特的优势。本文将探讨如何利用PHP构建高效的大数据处理系统,结合实际案例分析其应用场景及优势所在。
15 2
|
1月前
|
存储 分布式计算 大数据
现代化数据库技术——面向大数据的分布式存储系统
传统的关系型数据库在面对大规模数据处理时遇到了诸多挑战,而面向大数据的分布式存储系统应运而生。本文将深入探讨现代化数据库技术中的分布式存储系统,包括其优势、工作原理以及在大数据领域的应用。
|
1月前
|
安全 Java 大数据
基于大数据的旅游系统的设计与实现(论文+源码)_kaic
基于大数据的旅游系统的设计与实现(论文+源码)_kaic
|
2月前
|
监控 物联网 大数据
智慧工地管理平台系统源码基于物联网、云计算、大数据等技术
智慧工地平台APP通过对施工过程人机料法环的全面感知、互联互通、智能协同,提高施工现场的生产效率、管理水平和决策能力,实现施工管理的数字化、智能化、精益化。
54 0
|
3月前
|
人工智能 自然语言处理 大数据
AI大数据智能导诊系统源码 Springboot框架
智能导诊系统是在医院中使用的引导患者自助就诊挂号,在就诊的过程中有许多患者不知道需要挂什么号,要看什么病,通过智慧导诊系统,可输入自身疾病的症状表现,或选择身体部位,再经由智能导诊系统多维度计算,AI智能引擎分析、准确推荐科室,引导患者挂号就诊,实现科学就诊,不用担心挂错号。
56 0
|
4月前
|
SQL 数据可视化 关系型数据库
【大数据实训】基于Hive的北京市天气系统分析报告(二)
【大数据实训】基于Hive的北京市天气系统分析报告(二)
60 1
|
4月前
|
负载均衡 大数据 应用服务中间件
[新星计划]大数据故事集__从超市收银来看网站系统的发展
[新星计划]大数据故事集__从超市收银来看网站系统的发展
37 0
|
4月前
|
分布式计算 算法 搜索推荐
阿里巴巴内部:全技术栈PPT分享(架构篇+算法篇+大数据)
我只截图不说话,PPT大全,氛围研发篇、算法篇、大数据、Java后端架构!除了大家熟悉的交易、支付场景外,支撑起阿里双十一交易1682亿元的“超级工程”其实包括以下但不限于客服、搜索、推荐、广告、库存、物流、云计算等。 Java核心技术栈:覆盖了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。 大数据:Spark、Hadoop
|
4月前
|
分布式计算 网络协议 Hadoop
大数据成长之路------hadoop集群的部署 配置系统网络(静态) 新增集群(三台)
大数据成长之路------hadoop集群的部署 配置系统网络(静态) 新增集群(三台)
27 0
|
4月前
|
分布式计算 资源调度 大数据
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解(图文解释)
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解(图文解释)
185 0