1. 聚能聊>
  2. 话题详情

自建集群耗资百万?如何低成本搭建数据仓库?

随着大数据、云计算等技术的应用和普及,互联网环境下数据处理呈现出新的特征:业务变化快;数据来源多;系统耦合多;应用深度深。业务变化加快导致数据来源增多,以前的数据大多来自于应用系统数据库,基本为结构化数据,比如Oracle、MySQL等数据。现在的互联网环境下有了更多的数据,比如网站的点击日志、视频数据、语音数据,这些数据都需要通过统一的计算来反映企业的经营状况。在互联网环境下,系统耦合也相对比较多,最重要的是要注重如何在这样的环境下加深数据整合、提升应用深度。从应用深度上来说,之前更多专注于报表分析,在大数据环境下则更多地进行算法分析,通过建立数据模型去预测和研判未来趋势。所以在这种境况下,对于系统的需求也更高。

在高需求下,传统仓库必然面临着挑战:数据量增长过快导致运行效率下降;数据集成代价大;无法处理多样性的数据;数据挖掘等深度分析能力欠缺。自建集群,耗资上百万,并且还需要专业人员运维。

从2012年开始,阿里集团将之前在Hadoop上的数据体系搬迁到阿里云数加MaxCompute(原ODPS),并完成了数据体系的重构。MaxCompute能提供快速、完全托管的从GB到EB级数据仓库解决方案,可经济并高效的分析处理海量数据,高效的计算能力能够很好的支撑着强大的经济体。(《企业大数据平台下数仓建设思路》)

之后,阿里集团开始对外服务,开始研究数据智能化和帮助外部用户如何利用阿里的大数据平台实现大数据应用。

阿里正将MaxCompute这样的“核武器”快速推向全球市场,彻底改变了行业处理数据的方式。此前,大多采用自建Hadoop集群,耗资上百万,并且还需要专业人员运维。
而MaxCompute采取按量收费的模式,仅按照0.3元/GB按量付费,即开即用。根据大部分公司的数据量来测算,一般每月只需花费数百元。

MaxCompute最近在华南又开新服!了解详情:

《数据智能需求旺盛 阿里云MaxCompute 2.0华南区开服》

《深圳MaxCompute大数据计算平台75折限时抢》

QQ_20170912183303

欢迎一起来聊一聊:
如何做你所在的企业才能更好的赶上这个时代?
为了做好企业数据服务,架构师们应如何帮企业做好低成本的数仓攻略?

参与聚能聊将有机会获得价值千元的金闪闪 TechInsight云栖门票 一张!

Tech Insight是一场专门针对开发者、架构师,以及产品技术管理人员的“实战”技术之旅。在这里,顶级技术专家们解读各类跨行业解决方案。5场分论坛,2场Workshop,1场MVP Demo Show。

TECH INSIGHT 面对面深度技术分享

参与话题

奖品区域 活动规则 活动已结束,可继续参与讨论哦

65个回答

4

青藤木子

如何做你所在的企业才能更好的赶上这个时代?

首先我们一定要清楚这个时代是互联网时代,无论你是做什么行业,拥有一个什么企业,如果没有互联网的帮助,你就算有很好的技术,很多的人才,很多的项目,那也只是白搭。企业要赶上这个时代,那么就要先了解这个时代的技术有哪些,比如我这个企业是做手机产业的,那么我们就可以利用互联网去搜索人们更希望手机应该有哪些的功能,或者干脆用云数据、云计算来了解手机行业可以怎么去发展,我们既然是阿里云的用户,可以用阿里云的一些服务去使用这行业所需要的技术。这个时代变换很快,在2003年,安卓操作系统只是一个连股份不到1%的小产品,但由于开源和互联网的帮助,以及和其他公司的帮助,现在中国有76%的人使用安卓系统。总的来说,要赶上这个时代,肯定要利用互联网去搜集数据和技术等等,其次就是与其他企业合作,各个部门的人相互合作这样才能赶上这个时代,哦,还有,一定要让国家重视你这个企业!

为了做好企业数据服务,架构师们应如何帮企业做好低成本的数仓攻略?

这个方面好像您没有讲明白,或者是我有点无法理解!首先我觉得就是安全问题,好像这个是重点,许多的企业都会注重这一点,接着就是数据层面的事,只需要做好数据之间的分类和管理、维护,其他的比如帮助、服务对接等根本不需要架构师去管理,这些留个架构师去写成帮助文档,供用户去就就行了!

如果大佬觉得我说得对请点赞或扣1。如果专家觉得我说的有理,就请打赏,我有一张云栖大会的门票,但我在重庆,车费那么贵,不如把门票打赏给我吧,那我去杭州就值了啊😊😊

青藤木子 回复

补充:就是我觉得除了数仓管理之外呢,还可以分一批架构师去管理网络安全,宽带数据控制等等。这样两边都得到发展也是非常好的,怎么说呢,比如我这边要重构SQL Server web,那么一些架构师专门设计这边,那么当SQL Server web处理好后,就可以去去处理其他的技术。那么其他的架构师或一些研发人员就可以去管理SQL Server web,而不需要去设计了。

青藤木子 回复

补充:刚才说到低成本,要说低成本,就只能在运营方面少下一些功夫了,或者发布一些help帮助文档,少一些客服管理和技术的咨询,尽量去使用更便宜的宽带服务,比如自己去设计宽带,就可以避免市场的冲击。也少一些专利费用(我忘了好像有一个数据库有专利,但不知道是哪一个了)。

青藤木子 回复

补充:我看到有一个大佬的评论,他说将数据储存在阿里云会增大费用,但实际并不是这样的,阿里云的数据服务越来越好,服务也越来越多,而且每个我身边的人也因为我的推荐而使用阿里云。要我说,阿里云的数据服务要低成本,首先要取得用户的信任,只要大家信任阿里云的产品,就可以省去很多的费用

moyans98 回复

大佬好厉害!!!

隐林 回复

这里主要说的系统架构师,比如一些中小企业架构师,更多精力及预算会投入到发展业务上,IT成本会被压缩,所以需要系统架构师去帮助企业做好规划设计。

1459807618575870 回复

膜拜大佬

withluck 回复

规模是最大的问题

青藤木子 回复
回复@隐林:

好吧,那我理解错了,对于系统架构师的话,我不是很熟悉,毕竟我只是一个程序员,我们那边的话我管不了,所以不是很懂,但是我觉得系统架构师如果想把成本降低的话,可以先处理成本耗费大的,对于耗费大的可以对接其他的一些平台,这样使用别人的平台既便宜又可以减少一些对服务器的服务或者是不用持续管理一些资源

moyans98 回复

比如把数据储存在阿里云上?

青藤木子 回复
回复@moyans98:

可以的,老铁,没毛病

评论
1

bainan

对于很多单位而言,数据是核心资源,非常敏感。将数据存储在阿里云等平台上,各个用户对数据安全方面的顾虑可能会超过成本考量。

玉名金域 回复

有理

隐林 回复

这个就类似老百姓的钱存在家里还是存在银行,从云市场现状来看,企业上云的进程已经提速了。

最帅的老王 回复

说得好,很好,非常号

天下狼人 回复

有理

哦哦知道了 回复

主要还是数据的归属和使用权限吧。

1160386826074309 回复

有理

评论
1

傲海

雇个贾总全部搞定,最低成本

前程锦绣 回复

你好

亘石科技 回复

就服你!

boxti 回复

云数据库SQL Server Web

zhiguang66 回复

就服你!

linyasa 回复

厉害。 哈哈

评论
0

1723305580482710

这个是什么平台哦

隐林 回复

海量数据存储、计算

评论
0

rebie

主要还是跟数据安全的考虑,对于传统企业,数据在云上带来极大的不安全感,推开来的成本和时间极高

隐林 回复

这个还需要一段时间,不过已经看到传统企业开启上云之路了。

评论
1

浮生递归

公仔公仔~

如何做你所在的企业才能更好的赶上这个时代?
与时俱进,及时关注行业动向。比如在使用hadoop时,如果发现阿里云已经推出了maxcompute,就要及时切换到阿里云来,降低企业运维成本和难度。经常性的参加技术性峰会,如这次杭州的TI大会就是很好的会议,对企业上云的推进有很大的帮助,现在还有专家一对一面谈,提供解决方案。不过对我所在的企业来说,太高端了点,暂时还用不到整体的上云解决方案。

为了做好企业数据服务,架构师们应如何帮企业做好低成本的数仓攻略?
这个问题范围有点大吧。至少目前看来,传统模式的数仓应该都迁移上云,是大势所趋。总体来看,能大幅降低企业的预算及人力成本。上云后可以将有限的人力资源投入到架构设计规划上来,重心不再放在数仓的具体运维上。现在上云的解决方案很多,技术支持渠道也很丰富,对企业来说是最好的时机。

0

1354605830128062

企业云化是大势所趋,但是不能操之过急,数据安全、云可靠性、计算性能、网络带宽、运营成本,等等都有顾虑和问题,云化路程还有不少坑。作为架构师,首先把云化的坑填了再驱动转型升级。

陈学生 回复

你好

评论
1

海洋的云

如何做你所在的企业才能更好的赶上这个时代?
紧跟阿里的脚步,哈哈
为了做好企业数据服务,架构师们应如何帮企业做好低成本的数仓攻略?
请使用阿里云

1

anxin

因为maxcompute的低门槛,可以考虑先在云上积累数据,从而实现数据的资产化,到时候应用需求将自然涌现。

1

1268951895999875

未来就是数据安全时代

1

陈序婷

第一个问题 由于我现在还在学校,暂时无法回答。
第二个问题 我想肯定还是要上云的。道理我简单阐述一下:
1.企业自建需要巨大的投入,服务器的购置费用、软件的授权费用、管理、维护服务器的费用等等等等,如果公司不是本来就从事云计算相关业务否则成本肯定是比上云要大的。
2.相关业务的维护,和专业的云计算公司相比,一般的企业可能很少有专业的相关技术人员,就算有也未必专职。
3.数据的安全,阿里云的数据有多重备份机制。据我在V站上看到的很多企业并没有这个意识,存在很大风险。

Ps.最近在上海做为期一年的交换生,由于并非计算机专业学生,这题回答的可能比较浅薄甚至是错误的,但是仍旧希望题主送一张门票。上海到杭州还是蛮近的,有机会去看看真的很好。谢谢!

1

北方的郎

如何做你所在的企业才能更好的赶上这个时代?
主要还是混合云了,一部份数据还是要放在自己的私有云或者自建的大数据集群上的。
为了做好企业数据服务,架构师们应如何帮企业做好低成本的数仓攻略?
呵呵,自然是阿里云+Maxcompute了。

1

无神

刚看到云数据库SQL Server Web上线

0

1569908074769611

支持

0

1638808069614063

母鸡啊

0

无浪不欢52

数加可以在内网环境中应用吗?

0

1707208030789850

跟着阿里云混

0

好好的爱

0

itfarmer

未来可能都是云服务了

0

浩海雅尊

数剧仓库其实都是现成的,吸收其他单位或企业数剧库就可以了,成为子系统的一部分,可以大大节约成本。

4
11486
浏览
4
收藏
邀请他人互动
关注
21
粉丝
1785
话题
2

简介:

阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;
构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户...

阿里云数加提供了大量的大数据产品,包括大数据基础服务、数据分析及展现、数据应用、人工智能等产品与服务。这些产品均...

凝聚阿里巴巴多年来在无线业务安全防御的成功经验和技术成果,并面向开发者和企业提供安全扫描、应用加固、安全组件、数...

为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本...