📌 📄 内容摘要:
@rimutuyuan 在 hadoop2.7.3使用s3a不支持path style的解决办法 中发帖
我司的hadoop万年不变版本是2.7.3,这个版本不支持开启s3a的pathStyle路径访问
issue如下:
https://issues.apache.org/jira/browse/HADOOP-12963
遂从年前一直寻求解决办法,不成…
于是只能自己修改源码了
首先2.7.3的AmazonS3Client已经支持了path style,只是不能通过配置来开启它
[PixPin_2025-02-08_10-58-23]
然后2.8.0的源码里的核心代码是这段代码:
[PixPin_2025-02-08_11-02-23]
其次 sparkSession 默认的S3A实现类是S3AFileSystem,当然构建时候支持自定义的S3A实现类
[PixPin_2025-02-08_11-05-59]
所以我们思路如下:创建一个自定义的实现类:CustomFIl...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/415041/1
─────────────────────────────
📢 来源：LINUX DO
