已有1人关注此标签
SparkSQL与Hive metastore Parquet转换
作者: 开源大数据EMR
345人浏览
Spark SQL为了更好的性能，在读写Hive metastore parquet格式的表时，会默认使用自己的Parquet SerDe，而不是采用Hive的SerDe进行序列化和反序列化
EMR Spark-SQL性能极致优化揭秘 RuntimeFilter Plus
作者: 开源大数据EMR
411人浏览
在 2019 年的打榜测试中，我们基于 Spark SQL Catalyst Optimizer 开发的 RuntimeFilter 优化 对于 10TB 数据 99 query 的整体性能达到 35% 左右的提升。
招聘！招聘！招聘！计算平台解决方案架构师专场
作者: 开源大数据EMR
204人浏览
为了帮助客户更加高效地使用大数据产品，发挥数据价值，现计算平台招募大数据及AI产品解决方案架构师，欢迎在北京、杭州的同学加入我们！
Spark + AI Summit 2020 中文议题有奖征集
作者: 开源大数据EMR
130人浏览
北美 Spark + AI Summit 2020 盛会在即，Apache Spark 中国技术交流社区在此诚邀各位，代表国内开发者选择您最希望听到的主题，届时社区将联合国内顶尖技术专家一一展开中文形式分享。
5月7日 JindoFS 系列直播 第五讲【JindoFS Fuse 支持】
作者: 开源大数据EMR
398人浏览
本次直播主要介绍如何利用FUSE的POSIX文件系统接口，像本地磁盘一样轻松使用大数据存储系统, 为云上AI场景提供了高效的数据访问手段。
什么是数据中台？跟数据仓库、数据平台有什么区别？
作者: 云栖号资讯小哥
226人浏览
2019年，数据中台是一个很火的名词，基本上遇到的互联网公司都说自己在搞中台。但是什么是中台？到现在我也没有看到一个十分满意的答案。
EMR Spark-SQL性能极致优化揭秘 概览篇
作者: 开源大数据EMR
334人浏览
这次的优化里面，还有一个很好玩的优化，就是我们引入的 Native Runtime，如果说上述的优化器优化都是一些特殊 Case 的杀手锏，Native Runtime 就是一个广谱大杀器，根据我们后期统计，引入 Native Runtime，可以普适性的提高 SQL Query 15～20%的 E2E 耗时，这个在TPCDS Perf 里面也是一个很大的性能提升点。
Hadoop社区比 Ozone 更重要的事情
作者: 开源大数据EMR
471人浏览
本文回顾了最近几年Hadoop项目的发展，着重探讨个人对Ozone的看法和理解，不求正确，引玉而已，欢迎业内专家拍砖讨论。
Delta Lake Presto Integration & Manifests 机制
作者: 开源大数据EMR
412人浏览
Delta 0.5 已于上周发布，增加了不少新特性，这篇文章主要讲解其 Presto Integration 和 Manifests 机制。
Delta Lake 分区表覆盖写入操作
作者: 开源大数据EMR
487人浏览
Delta Lake当前版本（0.5）只支持API操作的，但是实现 Insert SQL 语法也不难，需要注意的是 Delta Lake 中的分区表覆盖写入操作。
SparkSQL DatasourceV2 之 Multiple Catalog
作者: 开源大数据EMR
246人浏览
SparkSQL DatasourceV2作为Spark2.3引入的特性，在Spark 3.0 preview(2019/12/23)版本中又有了新的改进以更好的支持各类数据源。本文将从catalog角度，介绍新的数据源如何和Spark DatasourceV2进行集成。
4月23日JindoFS系列直播【大规模文件元数据下的耗时操作优化】
作者: 开源大数据EMR
1582人浏览
本次直播主要介绍大数据生态中常见的元数据服务部署形态，并分析大规模文件元数据下在生产环境中可能遇到的问题，以及针对这些问题如何进行优化和调整。
spark面试该准备点啥
作者: 阿里云E-MapReduce团队
501人浏览
大部分面试者被面试的spark问题估计都会集中于spark core，spark streaming和spark sql，至于mllib和graphx这些估计都是了解项，当然也要逐步去学习structured streaming。
在阿里云 E-MapReduce 上使用Data Science集群进行深度学习
作者: 阿里云E-MapReduce团队
422人浏览
Data Science 集群是阿里云 E-MapReduce 在 3.13.0 版本以后推出的专门用于机器学习，深度学习的新的机型。客户可以通过 Data Science 集群选用 GPU 或者 CPU 机型对数据进行训练，训练的数据可以存储在 HDFS 和 OSS 上，目前支持 TensorFlow 进行分布式训练，方便用户开发基于大数据存储，分布式调度的深度学习应用。
直播预告 | 实时剖析Greenplum的内核构架核心
作者: skin778
493人浏览
为了让大家对Greenplum的内核有更深入的了解，让大家在开发或者是使用Greenplum过程中更加得心应手，今年，和阿里云开发者社区合作，Greenplum中文社区将开展 《Greenplum内核揭秘》系列直播，让你对Greenplum达到更深层的理解。
Spark MLlib中KMeans聚类算法的解析和应用
作者: 阿里云E-MapReduce团队
258人浏览
聚类算法是机器学习中的一种无监督学习算法，它在数据科学领域应用场景很广泛，比如基于用户购买行为、兴趣等来构建推荐系统。
深入剖析 Delta Lake：Schema Enforcement & Evolution
作者: 阿里云E-MapReduce团队
376人浏览
Schema 约束和 Schema 演变相互补益，合理地结合起来使用将能方便地管理好数据，避免脏数据侵染，保证数据的完整可靠。
E-MapReduce弹性低成本离线大数据分析
作者: 阿里云E-MapReduce团队
643人浏览
基于阿里云的E-MapReduce(EMR) 、对象存储OSS、日志服务SLS、抢占式ECS实例构建弹性、低成本的计算与存储分离架构的海量离线大数据分析日志分析系统。
MySQL：互联网公司常用分库分表方案汇总
作者: 阿里云E-MapReduce团队
807人浏览
不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接少甚至无连接可用。接下来就可以想象了吧（并发量、吞吐量、崩溃）。
