备案控制台
探索云世界
开发者社区 大数据 文章 正文

flare-spork: 自己维护的Pig on Spark项目

2014-04-29 1237
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

关于flare-spork

很早以前有个 Pig Spork分支，尝试把Pig迁移到Spark上，但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。

flare-spork是基于Spork对Pig和Spark的衔接，把Spark部分的代码迁移到了Pig 0.12.0上，并且升级了依赖和版本，升级为Scala 2.10.3，Spark 0.9.1，且兼容Hadoop 2.2.0。

目前项目在Github上， 地址。打算参考Spork已经做的一些东西，继续Pig on Spark的开发。

Github上的内容已经是merge进Pig 0.12.0的Spork版本了，可以编译和运行。更多细节的内容可以参考里面的 README。有介绍如何编译，有什么改变，能跑什么样的简单demo。


文章标签：
分布式计算
Spark
Hadoop
Scala
关键词：
apache spark项目
张包峰
目录
相关文章
建模sister
|
2月前
|
数据采集 分布式计算 Linux
Spark实时（数据采集）项目小知识点--sed -i命令详解及入门攻略
Spark实时（数据采集）项目小知识点--sed -i命令详解及入门攻略
建模sister
106 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 大数据
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
热烈的马
44 0
是Yu欸
|
5月前
|
分布式计算 Java Scala
配置spark，并在idea中搭建项目
配置spark，并在idea中搭建项目
是Yu欸
71 0
-开发达人-
|
11月前
|
机器学习/深度学习 人工智能 分布式计算
SparK项目原作解读：卷积模型的首个BERT预训练
SparK项目原作解读：卷积模型的首个BERT预训练
-开发达人-
174 0
baphsqca3imha
|
设计模式 分布式计算 Scala
Spark Master 和 Worker 项目需求 | 学习笔记
快速学习 Spark Master 和 Worker 项目需求
baphsqca3imha
78 0
Spark Master 和 Worker 项目需求 | 学习笔记
邵奈一2018
|
机器学习/深度学习 分布式计算 算法
Spark项目实战：飞机延误预测项目
Spark项目实战：飞机延误预测项目
邵奈一2018
491 0
Spark项目实战：飞机延误预测项目
pushytao
|
分布式计算 Java Hadoop
Spark集群搭建记录 | 云计算[CentOS8] | Scala Maven项目访问Spark(local模式)实现单词计数（下）
step6 创建scala object step7 修改pom文件 step8 配置项目 step9 添加依赖库（Spark的jar包） step10 设置输入路径
pushytao
141 0
Spark集群搭建记录 | 云计算[CentOS8] | Scala Maven项目访问Spark(local模式)实现单词计数（下）
pushytao
|
分布式计算 IDE Java
Spark集群搭建记录 | 云计算[CentOS7] | Scala Maven项目访问Spark(local模式)实现单词计数（上）
写在前面 step1 下载Scala IDE step2 解压安装Scala IDE step3 Scala 下载 step4 Scala 配置 step5 创建scala项目
pushytao
128 0
Spark集群搭建记录 | 云计算[CentOS7] | Scala Maven项目访问Spark(local模式)实现单词计数（上）
云祁
|
消息中间件 传感器 分布式计算
【Spark】Spark Dataframe 对项目中的数据实现列转行操作
【Spark】Spark Dataframe 对项目中的数据实现列转行操作
云祁
475 0
【Spark】Spark Dataframe 对项目中的数据实现列转行操作
云祁
|
分布式计算 Spark
【Spark】Spark Dataframe 对项目中的数据实现列转行操作
【Spark】Spark Dataframe 对项目中的数据实现列转行操作
云祁
402 0
【Spark】Spark Dataframe 对项目中的数据实现列转行操作

热门文章

最新文章

  • 1
    Paimon 与 Spark 的集成（二）：查询优化
  • 2
    阿里云 EMR Serverless Spark 版免费邀测中
  • 3
    Paimon与Spark
  • 4
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 5
    bigdata-36-Spark转换算子与动作算子
  • 6
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 7
    Spark 源码分析 -- BlockStore
  • 8
    BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
  • 9
    Spark RDD类源码阅读
  • 10
    7月24日晚Spark社区直播：【Apache Spark 基于 Apache Arrow 的列式存储优化】
  • 1
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    76
  • 2
    安装Spark
    32
  • 3
    Spark环境搭建与使用
    33
  • 4
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    40
  • 5
    Spark读取变更Hudi数据集Schema实现分析
    36
  • 6
    实战|使用Spark Streaming写入Hudi
    39
  • 7
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    107
  • 8
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    39
  • 9
    Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
    65
  • 10
    Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
    30

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    阿里云oss简介和使用流程