开发者社区> 问答> 正文

spark s3n是否支持端点类似于s3a

我现在有一个端点服务器可以正常工作在spark中的s3a文件系统,我想支持s3n://和s3://

展开
收起
小六码奴 2019-04-23 15:36:45 1750 0
1 条回答
写回答
取消 提交回答
  • 以下是您需要在配置中提供的类hadoop-aws.jar。

    org.apache.hadoop.fs.s3native.NativeS3FileSystem, org.apache.hadoop.fs.s3.S3FileSystem
    声明方式:

    在core-site.xml中


    fs.s3.impl
    org.apache.hadoop.fs.s3.S3FileSystem


    fs.s3n.impl
    org.apache.hadoop.fs.s3native.NativeS3FileSystem

    或者你可以像下面那样以编程方式设置它们。

    程序方式:

    示例:

    spark.sparkContext.hadoopConfiguration.set("fs.s3n.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")

    spark.sparkContext.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "AccessKey")
    spark.sparkContext.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", "SecretKey")

    类似于s3://也。

    hadoop-aws.jar有这些类,所以你需要使用...为你的spark-submit作业提供jar。

    --jars /usr/hadoop/hadoop-aws.jar

    2019-07-17 23:34:05
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载