1. 云栖社区>
  2. 全部标签>
  3. #开源大数据#
开源大数据

#开源大数据#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

重磅揭晓!Flink Forward Asia 2019 议程完整出炉

60 年前,人工智能的诞生刷新了人类对技术的期待;过去 10 年,大数据、云计算等核心技术的发展,推动了整个社会的重构与革新;5 年时间,移动互联网从诞生到逐步实现万物互联,数据在现实中的边界正在不断被拓展;技术迭变的进程不断加快,新兴技术的涌现昼夜不停。

深度学习 大数据 Apache 人工智能 开源大数据 培训 流计算 ApacheFlink 实时技术 FlinkForwardAsia

编码方法论,赋能你我他 | 8月16号云栖夜读

今天的首篇文章,讲述了:第一次做某件事时只管去做;第二次做类似的事时会产生反感,但无论如何还是可以去做;第三次再做类似的事时,你就应该重构。编码也是如此,当多次编写类似的代码时,我们需要考虑是否有一种方法能够提高编码速度。

程序员 数据库 数据迁移 aliyun 开源大数据 物联网 IT基础设施

20万天猫智慧门店背后的商业思考和技术重构 | 8月5号云栖夜读

今天的首篇文章,讲述了:2016年,「新零售」被首次提出,在这些年里,无论是互联网公司、零售企业,还是像酒店、机场等这些服务型业态,都在积极探索新的零售模式。对于天猫这样一个服务了全球诸多品牌的平台来说,如何助力零售企业完成数字化转型,用大数据和云计算的力量帮助品牌更好地洞察消费者、连接消费者、服务消费者,是一个重要的课题。

云栖社区 大数据 服务器 aliyun 开源大数据 存储

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅发布的新功能。

安全与风控 数据存储与数据库 移动开发与客户端 深度学习 大数据 性能 Apache 数据仓库 Cache Image spark 开源大数据 分布式计算 source 磁盘

Spark on Kubernetes 的现状与挑战

被称为云上 OS 的 Kubernetes 是 Cloud Native 理念的一种技术承载与体现,但是如何通过 Kubernetes 来助力大数据应用还是有很多可以探索的地方。欢迎交流。

云栖社区 安全与风控 系统软件 大数据 native 性能 Apache 集群 内存管理 spark 开源大数据 Driver github

直击7.24 | 云上开发,阿里云帮助开发者解决两个核心问题

7月24日,阿里云开发者大会正式在上海世博中心召开,大会聚焦云数据库、开源大数据以及云原生等主题,向数千位开发者分享了云上开发的技术干货。

大数据 mysql 性能 数据库 数据安全 电商 解决方案 开源大数据 云数据库 开发环境 物联网 一键迁移 阿里云峰会

首届!Apache Flink 极客挑战赛强势来袭,重磅奖项等你拿,快来组队报名啦

7 月 24 日,阿里云峰会上海开发者大会开源大数据专场,阿里巴巴集团副总裁、计算平台事业部总裁贾扬清与英特尔高级首席工程师、大数据分析和人工智能创新院院长戴金权共同发布首届 Apache Flink 极客挑战赛。欢迎报名参赛!

深度学习 大数据 性能优化 机器学习 性能 Apache 钉钉 开源大数据 流计算 大数据分析 ApacheFlink AI及大数据 实时技术

7月24日晚Spark社区直播:【Apache Spark 基于 Apache Arrow 的列式存储优化】

Apache Arrow 是一个基于内存的列式存储标准,旨在解决数据交换和传输过程中,序列化和反序列化带来的开销。目前,Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开,本次分享会介绍 Apache Arrow 并分析通过 Arrow 将给 Spark 带来哪些特性。

nginx 编程语言 系统研发与运维 移动开发与客户端 linux Apache spark aliyun 开源大数据 存储

7月24日晚Spark社区直播:【Apache Spark 基于 Apache Arrow 的列式存储优化】

Apache Arrow 是一个基于内存的列式存储标准,旨在解决数据交换和传输过程中,序列化和反序列化带来的开销。目前,Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开,本次分享会介绍 Apache Arrow 并分析通过 Arrow 将给 Spark 带来哪些特性。

安全与风控 系统研发与运维 网络与数据通信 Apache spark aliyun 开源大数据 存储 安全问道

产品:“嘘,这事千万别让开发知道”

作为2019年首场最受瞩目的云计算开发者大会,阿里云火力全开。本次开发者大会聚焦开源大数据、IT基础设施云化、数据库、云原生、物联网五大主力方向。

基础设施 容器 开源大数据 物联网 IOT

7.24上海 | 探索云数据库最佳实践 阿里云开发者大会数据库专场邀你一起Code up!

盛夏、魔都、科技 三者在一起有什么惊喜? 7月24日,阿里云峰会·上海——开发者大会将在上海世博中心盛大启程,与未来世界的开发者们分享数据库、云原生、开源大数据等领域的技术干货,共同探讨前沿科技趋势,分析阿里云在一线生产场景的最佳实践。

数据存储与数据库 安全 架构 NOSQL mysql 数据库 code 开源大数据 云数据库 Cassandra 并行计算 AnalyticDB

阿里AI再出神器,“你是什么垃圾”一拍便知 | 7月9号云栖夜读

今天的首篇文章,讲述了:“干垃圾,还是湿垃圾?你是什么垃圾?”相信魔都的小伙伴已经要被垃圾分类逼疯了,还要面临垃圾桶前,志愿者们的灵魂一问:“你是什么垃圾?”更糟糕的是,垃圾分类,还要“自学成才”,没人可问。想人之所想,急人之所急,阿里AI懂你

云栖社区 高可用 数据仓库 云存储 aliyun 开源大数据 对象存储 容灾 分布式系统 存储 数据类型

阿里巴巴为什么选择Apache Flink?

作者:王峰 整理:韩非 本文主要整理自云栖大会阿里巴巴计算平台事业部资深技术专家王峰(花名:莫问)在云栖大会‘开发者生态峰会’上发表的演讲。 伴随着海量增长的数据,数字化时代的未来感扑面而至。

大数据 Apache 数据处理 流式计算 开源大数据 API 分布式架构 流计算 flink 实时计算

4月26日云栖精选夜读 | 阿里开发者招聘节 面试题02-04:给定一个二叉搜索树(BST),找到树中第K小的节点

阿里巴巴资深技术专家们结合多年的工作、面试经验总结提炼而成的笔试真题这一次将陆续放出(面试题答案将在专辑分享结束后统一汇总分享)。并通过这些笔试真题开放阿里巴巴工作机会,让更多的开发者加入到阿里这个大平台。

linux mysql 云服务器 钉钉 开源大数据 多线程 云服务 面试题 离线分析 数据结构

从数砖开源 Delta Lake 说起

Spark AI 北美峰会的第一天,坊间传闻被证实,Databrics(俗称数砖,亦称砖厂)的杀手锏 Delta 产品特性作为 Delta Lake 项目开源!会前,笔者有幸同砖厂的两位大佬李潇和连城做了个线下交流,谈到 Delta 时被告知会有相关重磅在大会上宣布,但却没想到是开源出去。

云栖社区 数据存储与数据库 大数据 实时系统 hadoop Apache spark 开源大数据 存储 Delta

浅谈 Spark 的多语言支持

Spark架构和设计上的优秀毋庸置疑,从一出道便抢了 Hadoop 的 C 位。在开源大数据的黄金十年一时风头无两,在当下人工智能时代仍然能够与时俱进,通天之处不遑多言,美中不足之处也有不少。小的方面,比如调度模型跟 MapReduce 这种计算范式过于耦合,Spark 最近引入 Barrier 调度模式就是为了支持深度学习这种新的计算类型,所幸在于对框架的改动不会伤筋动骨;有些缺陷则不然,影响全局,调整起来绝非易事。

python 深度学习 大数据 java hadoop 阿里技术协会 spark scala 开源大数据 Driver EMR 多语言

浅谈 Spark 的多语言支持(修订版)

Spark 设计上的优秀无容置疑,甫一出道便抢了 Hadoop 的 C 位,在开源大数据的黄金十年里一时风头无两,在人工智能时代的当下仍然能够与时俱进,不可谓不牛逼。架构和设计上的卓越,不遑多言,美中不足之处自然也有不少,比如调度模型跟 MapReduce 这种计算范式过于耦合,Spark 最近引入 Barrier 调度模式就是为了支持深度学习这种新的计算类型,所幸在于对框架的改动不会伤经动骨。

云栖社区 系统软件 数据存储与数据库 系统研发与运维 网络与数据通信 python 深度学习 大数据 java hadoop spark scala 开源大数据 EMR

13
GO