《Spark核心技术与高级应用》——3.1节使用Spark Shell编写程序

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

《Spark核心技术与高级应用》——3.1节使用Spark Shell编写程序

华章计算机 2017-05-02 10:45:00 浏览966
展开阅读全文

本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第3章,第3.1节使用Spark Shell编写程序,作者于俊 向海 代其锋 马海平,更多章节内容可以访问云栖社区“华章社区”公众号查看

3.1 使用Spark Shell编写程序
要学习Spark程序开发,建议首先通过spark-shell交互式学习,加深对Spark程序开发的理解。spark-shell提供了一种学习API的简单方式,以及一个能够交互式分析数据的强大工具,在Scala语言环境下(Scala运行于Java虚拟机,因此能有效使用现有的Java库)或Python语言环境下均可使用。
3.1.1 启动Spark Shell
在spark-shell中,已经创建了一个名为sc的SparkContext对象,如在4个CPU核上运行bin/spark-shell,命令如下:

网友评论

登录后评论
0/500
评论
华章计算机
+ 关注
所属云栖号: 华章计算机