2014 BDTC 参会有感

简介:

中国大数据技术大会(Big Data Technology Conference,BDTC)是目前国内最具影响、规模最大的大数据领域的技术盛会。大会的前身是Hadoop中国云计算大会(Hadoop in China,HiC)。从2008年仅60人参加的技术沙龙到当下的数千人技术盛宴,作为业内极具实战价值的专业交流平台,已经成功举办七届的中国大数据技术大会忠实地描绘了大数据领域内的技术热点,沉淀了行业实战经验,见证了整个大数据生态圈技术的发展与演变。

为了迎接大数据时代的到来,更好地交流大数据的实践经验,进一步推进大数据技术创新与应用,展示国内外大数据领域的最新科研成果,2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所与CSDN共同协办的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将在北京新云南皇冠假日酒店隆重举办。

大会官网:http://bdtc2014.hadooper.cn/m/zone/bdtc_2014

由于我家在上海,没想到要去。一来是最近很忙,有很多事情要做;二来还是比较折腾的,想着看视频回放吧;三来比较贵,此去一行要花费近5K大洋。但是后来CSDN送票;还有人帮忙报销路费;住宿也不是问题,毕竟三个姐姐都在北京;因此成行。

首先感谢CSDN,不单单是因为送我票,CSDN也是本次大会的协办单位;在会场看到了很多的CSDN的小伙伴,非常辛苦。

先说几个最大的感受:

1. 会议组织的很好;不单是Speaker准备的很好,部分的内容很有深度;硬件也不错,比如同声传译。

2. 参会人员很多,遇到了很多熟悉的面孔,其中不乏从上海,杭州赶过去的;而且目测有一些我厂小伙伴(通过我厂背包)。

3. 展台很多。可以从各个创业公司的海报看到他们的产品,从产品可以看出行业一些基本的需求点和大家的关注点。

4. 见到了Doug Cutting  大神。虽然想去签名+拍照,但是为了保持自己的矜持就没有挤上去。

5. Spark的确是大家的关注点,很多Speaker不时的会提到Spark,甚至做超机的高光荣教授 教授。 

6. 大家一致认为大数据刚刚落地,甚至有嘉宾激进的认为现在和80年代PC刚起步一样,现在大数据所面临的问题比如计算存储网络资源在不久的将来将不复存在(问题是不断演进的吧,比如是否可能会有计算模型定义的硬件,即computing defined hardware,呵呵)

7. 干货很多,节奏很快,基本上没有QA的环节。

由于周日的技术论坛分了大数据生态系统,大数据技术,大数据应用和大数据基础设施等4个分论坛,而且时间是完全重叠的,因此只能选择自己感兴趣的去听。接下来分享一下印象比较深的几场。先分享第一个:

2015年大数据基础技术的演进趋势:孙元浩  星环科技CTO

四个趋势:

1. 混合架构将逐渐消失

2. 固态盘将替代内存作为缓存

3. 实时大数据技术得到广泛关注

4. 云计算和大数据终于可以融合

对于第一个趋势,我认为在小公司是可以的,毕竟维护多个架构的运维成本,集群成本都很高。如果一个架构可以满足大家需求,那么将计算资源整合到一块为整个公司服务绝对符合公司的利益。但是对于BAT这种超大的公司,可能根本就不会存在一个通用的架构。很多地方的运算都会苛刻,比如延时,比如吞吐。为不同的应用场景搭建不同的架构,BAT不单是由技术人员去实现,运维人员去运维,而且还有应用场景的强需求。可能离线和近线使用统一的架构在理论上是可能的;但是在线部分至少在现在,还没有看到这个趋势。

第二个趋势,还是非常有可能的,毕竟如果为一个计算场景设计一个特殊的文件格式,那么SSD的确可以达到很高的性能。而且成本不高,容量巨大,的确是大家应该认真思考的地方。EMC的MCF,就是使用SSD作为一层缓存,还是取得了很好的性能优势的。机械硬盘最大的问题在于随机读,一个寻道直接耗费10ms这个量级,要知道很多在线系统的总延时也不过数百ms;对于高频交易系统,大家的时间维度都是在us,甚至大家为了解决数据在内存到网卡之间的传输延时而设计了专门的硬件,为了避免TCP多次握手和ack带来的延时而实现了“可靠”的UDP。通过为不同的场景设计特殊的SSD的文件格式,SSD的性能得到最大程度的提升;这个趋势,值得大家关注。

第三个趋势,实时大数据不单在大公司得到重视,小公司也是如此;大公司实际上早已在生产环境完成了相关场景。而对于小公司,可能第三方的架构就非常重要了,毕竟从人力,物力来说很难开发一套可用的实时大数据系统。这就导致了相关技术会继续得到关注,社区也会持续在这方面进行改进。

第四个趋势,云计算和大数据终于可以融合。云计算大数据作为商业的噱头炒作了已经很多年了。但实际上,大数据才刚刚开始,大数据时代的帷幕已经徐徐拉开并且大家都在专注的实现一些可以为公司,为用户创造可见价值的技术。尤其是Docker,和在其上面的Google Kubernetes,作为一个轻量级的container,为资源部署,资源隔离等制定一个标杆。相信spark等平台以后会加入对他们的支持。 虚拟化技术这些年,解决了很多问题,也带来了很多问题;而docker,解决了虚拟化带来的问题,比如性能。

(未完待续)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4月前
|
Serverless 云栖大会 黑灰产治理
2023云栖大会飞天音乐节大赛活动获奖名单公示
2023云栖大会飞天音乐节大赛活动获奖名单公示
557 1
|
5月前
|
机器学习/深度学习 物联网 云栖大会
|
6月前
|
人工智能 云计算 虚拟化
|
开发者
阿里巴巴95公益周 · 码上公益爱心极客招募
码上公益是阿里云工程师自发建立的国内首个技术志愿服务平台,在公益组织和技术开发者之间架起桥梁,将公益需求与技术能力对接,为公益组织的数字化发展提供技术支持。希望更多的爱心极客加入我们,让我们一起用技术的力量,做公益的侠客,给世界带来一点点温暖的改变。
1944 8
阿里巴巴95公益周 · 码上公益爱心极客招募
|
物联网 大数据 5G
第二届南京六合创业大赛报名指南
节能环保和新材料行业是作为传统的实体产业,也是正在快速升级的两大产业,作为节能环保和新材料产业的创业者,前期的研发和经验更需要多方支持,尤其是初创企业更需要政策与资本的大力扶持,南京六合高新区产业方向为智能制造、节能环保、新材料等领域,为了吸引更多海内外优秀科技人才项目落户六合高新区,促进企业、人才、资本、技术等创新要素深度融合,推动六合高新区产业转型升级和经济高质量发展。
817 0
|
物联网 5G 云计算
世界5G大会参会总结和思考
5G方案综述 5G简介和新价值 5G相对于4G在网络速率,时延和连接数上都有数量级的提升,基本上是10倍的关系。4G的基站的空口的速率标称是100Mbps,5Gbps是大于1Gbps,当前最高可达1.9Gbps。
6970 0
753个大奖邀请各位新老博主入驻云栖,请技术人员广而告之
向IT技术人致敬,这里,云栖社区备好大礼,举办首届博主招募大赛,邀请各位IT技术博主入驻云栖,共谱未来:https://yq.aliyun.com/activity/363,各路技术人员请广而告之!
2711 0

热门文章

最新文章