更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。
本讲义出自Holden Karau在Spark Summit East 2017上的演讲，主要介绍了如何对于Spark程序进行调试Debug，并介绍了登录时的对于Spark所支持的各种语言的不同选项以及常见的错误和如何对这些错误进行检测。
【Spark Summit East 2017】Debugging PySpark
2017-02-18
1551
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本讲义出自Holden Karau在Spark Summit East 2017上的演讲，主要介绍了如何对于Spark程序进行调试Debug，并介绍了登录时的对于Spark所支持的各种语言的不同选项以及常见的错误和如何对这些错误进行检测。
目录
相关文章
|
分布式计算
算法
大数据
【Spark Summit East 2017】Spark自动调谐
本讲义出自Lawrence Spracklen 在Spark Summit East 2017上的演讲，主要介绍了Lawrence Spracklen 与团队研发的算法，介绍了如何充分利用被分析的数据的大小，并分享了在分析操作中如何规划流，集群规模，配置和实时利用率以及配置使得Spark的工作性能达到峰值。
1868
0
0
|
大数据
Apache
分布式计算
【Spark Summit East 2017】Spark + Flashblade
本讲义出自Brian Gold在Spark Summit East 2017上的演讲，现代基础设施和应用程序会产生大量的日志和遥测数据，Pure Storage能从工程台、制造伙伴和测试站的运行的存储系统获取超过5PB第一手日志数据，演讲中介绍了Pure Storage公司从扩展数据仓库和利用Apache Spark的功能满足分析需求的过程中吸取的经验教训。
2049
0
0
|
存储
分布式计算
安全
【Spark Summit East 2017】Kerberizing Spark
本讲义出自Abel Rincon与Jorge Lopez-Malla在Spark Summit East 2017上的演讲，主要介绍了Spark作为主流的大规模并行处理框架，HDFS作为最受欢迎的大数据存储技术，两者之间的结合通常是大数据的常见用例，本讲义分享了如何使得两种技术同处于安全的环境中，另外随着BI技术适应大数据环境，要求几个用户能够同时与集群进行交互，如何保证环境的安全也是一个挑战。
1690
0
0
|
分布式计算
算法
大数据
【Spark Summit East 2017】Cornami提升Spark性能与速度
本讲义出自Paul Master在Spark Summit East 2017上的演讲，主要介绍了CORNAMI公司的TruStream技术，一个以高密度处理器核心计算内存结构的新架构。演讲中介绍了如何将Spark集成到TruStream计算结构中来对于一般的Spark任务提供更高性能的计算处理能力，并介绍了目前在多服务器集群上构建的应用上如何使用TruStream与Spark提高算法速度，增加功能并且降低成本以及延迟。
2137
0
0
|
数据采集
分布式计算
大数据
【Spark Summit East 2017】Sparkler：Spark上的爬虫
本讲义出自Karanjeet Singh与Thamme Gowda Narayanaswamy在Spark Summit East 2017上的演讲，主要介绍了利用了分布式计算和信息检索领域的最新发展技术并且组合了像Spark, Kafka, Lucene/Solr, Tika, 和Felix等各种Apache项目的爬虫程序——Sparkler，Sparkler是一个具有高性能、高扩展性以及高性能的网络爬虫程序，并且是运行在Spark上Apache Nutch的进化。
2842
0
0
|
分布式计算
Apache
Spark
【Spark Summit East 2017】Apache Toree：Spark的一种Jupyter内核
本讲义出自Marius van Niekerk在Spark Summit East 2017上的演讲，主要介绍了Toree的设计思想，Toree如何与Jupyter生态系统交互，以及用户如何借助强大的插件系统来扩展Apache Toree的功能。
2423
0
0
|
分布式计算
大数据
流计算
【Spark Summit East 2017】为Walmart Search学习使用Streaming和DataFrames
本讲义出自Nirmal Sharma与Yan Zheng在Spark Summit East 2017上的演讲，主要介绍了Walmart使用Spark Streaming和DataFrames构建的搜索产品的情况，目前已经能够成功地使用多个微型批处理spark streaming管道对于可获取的产品信息进行近乎实时的更新，并分享了仅依靠Spark Data Frames建立的可伸缩的异常检测框架，该框架能够用于检测异常搜索信息。
1695
0
0
|
分布式计算
大数据
Spark
【Spark Summit East 2017】Drizzle——Spark的低延迟执行
本讲义出自Shivaram Venkataraman在Spark Summit East 2017上的演讲，主要介绍了Spark的低延迟执行引擎——Drizzle，其设计目的在于对流进行处理以及进行迭代工作。
2385
0
0
|
分布式计算
大数据
Spark
【Spark Summit East 2017】Spark化数据引擎
本讲义出自Rohan Sharma在Spark Summit East 2017上的演讲，主要介绍了Netflix的大数据处理生态系统以及Spark在该平台发挥的作用，并讨论了Netflix使用的数据流以及数据管道架构以及Spark如何帮助Netflix在数据处理过程中提升效率，最后还分享了一些关于使用Spark的数据仓库以及分析案例。
1997
0
0
|
分布式计算
大数据
Java
【Spark Summit East 2017】使用Spark进行时间序列分析
本讲义出自Simon Ouellette在Spark Summit East 2017上的演讲，主要介绍了在Spark上与时间序列数据进行交互的Scala / Java / Python库——spark-timeseries，演讲中分享了spark-timeseries的总体设计，目前实现的功能，并将提供一些用法示例。
9014
0
0
热门文章
最新文章
1
疑犯追踪第一季/全集Person Of Interest迅雷下载
2
【直播系列之一】1篇文章看懂峰值带宽、流量、转码、连麦、截图五大直播计费方式
3
理解事务的4种隔离级别
4
阿里云网站域名备案流程全过程讲解(图文)
5
在服务器的raid1中安装windows server系统（踩坑记录）
6
如何用Vue实现简易的富文本编辑器，并支持Markdown语法
7
怎么才能快速提高小程序留存率！
8
程序员请放下浮躁的心
9
如何解决域中普通用户只限于10台客户机加入域的数量问题
10
博客园模板 样式优化
1
未来技术纵横谈：区块链、物联网与虚拟现实的融合与创新
34
2
软件体系结构 - 缓存技术（9）缓存穿透
29
3
提升Android应用性能的实用技巧
31
4
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断（下）
32
5
软件体系结构 - 缓存技术（8）缓存雪崩
35
6
软件体系结构 - 缓存技术（7）Redis持久化方法
35
7
Python用KShape对时间序列进行聚类和肘方法确定最优聚类数k可视化
24
8
软件体系结构 - 缓存技术（6）淘汰策略
31
9
基于R语言股票市场收益的统计可视化分析
33
10
软件体系结构 - 数据分片（2）一致性哈希分片
35