EMR Spark Runtime Filter性能优化 | 7月5号云栖夜读

  1. 云栖社区>
  2. 博客>
  3. 正文

EMR Spark Runtime Filter性能优化 | 7月5号云栖夜读

yq传送门 2019-07-05 17:19:56 浏览1568
展开阅读全文

点击订阅云栖夜读日刊,专业的技术干货,不容错过!

阿里专家原创好文

1.EMR Spark Runtime Filter性能优化

Join是一个非常耗费资源耗费时间的操作,特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据,一方面可以提高查询性能,另一方面也可以减少资源的消耗(网络/IO/CPU等),在同样的资源的情况下可以支撑更多的查询。阅读更多》》

2.JVM-SANDBOX:从阿里精准测试走出的开源贡献奖

稳定性是历年双11的技术质量保障核心。从 2016 年开始淘宝技术质量部潜心修行,创新地研发了一套实时无侵入的字节码增强框架,于是「JVM-SANDBOX」诞生了,并且顺手在 MTSC 大会上拿了开源贡献奖,今天,我们来瞅瞅这个拿奖的项目。阅读更多》》

3.分布式服务架构下的混沌工程实践

本文希望阐述清楚LVS的各种转发模式,以及他们的工作流程和优缺点,同时从网络包的流转原理上解释清楚优缺点的来由,并结合阿里云的slb来说明优缺点。阅读更多》》

4.云原生应用 Kubernetes 监控与弹性实践

一篇干货好文,值得一读!阅读更多》》

5.MaxCompute 项目子账号做权限管理

一个企业使用多款阿里云产品,MaxCompute是其中一个产品,用的是同个主账号,主账号不是由使用MaxCompute的大数据同学管理, 大数据同学使用的是子账号。大数据同学日常需要给MaxCompute项目 操作新增子账号(add user),新的子账号授权(grant xx on project/table)等操作,即日常权限管理。阅读更多》》

视频课程及PPT下载

1.DTCC 2019第十届中国数据库技术大会--《NoSQL数据库最新技术发展趋势》
议题简介:企业 IT 系统面临层出不穷的新业务,安全,成本等诸多挑战。阿里云 NoSQL 数据库通过与企业业务深度结合,快速创新,提供最新的技术帮助企业用户迎接挑战,获得金融、社交、直播等众多大客户的信任。本次演讲重点介绍阿里云 NoSQL 数据库在全球分布式,多模,弹性,HTAP,cloudNative,图,时序,时空等众多最新领域的创新和技术实践。
视频地址:https://yq.aliyun.com/live/1049

2.DTCC 2019第十届中国数据库技术大会--《探索互联数据的奥秘——图数据库GDB》
议题简介:阿里图数据库 GDB 是一种支持属性图模型、用于处理高度连接数据查询与存储的实时、可靠、可扩展的在线数据库服务。基于图数据库 GDB,可以帮助用户快速构建基于高度连接的数据集的应用程序,高效地构建社交网络、推荐引擎、欺诈检测、知识图谱等应用。
视频地址:https://yq.aliyun.com/live/1050

3.DTCC 2019第十届中国数据库技术大会--《云时代数据库迁移 & 容灾技术新进展与应用》
议题简介:关于数据库灾备,你想知道的都在这里!迁移 & 容灾是数据库的强需求,传统的迁移 & 容灾技术已经发展多年,随着云时代的来临,在迁移 & 容灾的使用场景、网络、技术都有很大的变化,如何在云时代下更简单的实现数据库的迁移 & 容灾,云厂商如何通过新的技术实现弯道超车,本次 topic 主要分享阿里云在此领域的技术新进展和应用。
视频地址:https://yq.aliyun.com/live/1048

更多精彩直播

热门话题

1.谷歌Chrome内置广告拦截器将于7月9日在全球发布,你的站点广告能过关吗?(有奖话题)

  • 对于此次功能更新,你有什么看法?

点此进入回答赢取礼物

2.小程序的发展越来越快,你还在观望吗?一起来聊聊你眼中的小程序吧!(有奖话题)

  • 你眼中的小程序
  • 你对小程序有什么期待?

点此进入回答赢取礼物

往期精彩回顾

如何带领团队“攻城略地”?优秀的架构师这样做 | 7月4号云栖夜读

点击订阅云栖夜读日刊,专业的技术干货,不容错过!

网友评论

登录后评论
0/500
评论
yq传送门
+ 关注

云栖夜读

每日云栖社区技术文章精选,每晚(工作日)18:00前推送;

订阅