Hadoop3.3新版本发布【整合了腾讯云】

平安鸡 平安鸡 当前离线 积分 1049 285 主题 762 回帖 1049 积分 金牌会员 金牌会员, 积分 1049, 距离下一级还需 1951 积分 金牌会员, 积分 1049, 距离下一级还需 1951 积分 积分 1049 收听TA 发消息	发表于 2024-3-2 09:53:27 | 显示全部楼层 |阅读模式 问题导读 1.Hadoop3.3支持JDK哪个版本？ 2.SCM是什么？ 3.YARN应用程序做了哪些改进？ 4.整合腾讯云实现了什么文件系统？ 1.支持ARM 这是第一个支持ARM的版本。 2.Protobuf从2.5.0升级到新版本 Protobuf从2.5.0升级到3.7.1 3.支持Java11 支持Java11 4.支持模拟AuthenticationFilter过滤器 外部服务或YARN服务可能需要根据使用Web协议的用户行为来调用WebHDFS或YARN REST API。 最好在AuthenticationFilter或类似的扩展中支持模拟机制。 不推荐使用httpfs.authentication.*配置，在HttpFS中使用hadoop.http.authentication.*配置。 如果同时设置了两个配置，则httpfs.authentication.*配置对兼容有效。 更详细可查看 https://issues.apache.org/jira/browse/HDFS-14845 5.s3A增强功能 S3A代码的很多增强功能，包括支持委托令牌，对404缓存的更好处理，S3guard性能，弹性改进 6.ABFS增强功能 调整需要调整的内容，并在适当的地方添加更多测试。 改善文档，尤其是故障排除。 比如修复支持Server Name Indication (SNI). ABFS FileStatus.getModificationTime返回本地化时间而不是UTC 7.HDFS RBF稳定化 HDFS Router现在支持安全性。 还包含许多错误修复和改进。 RBF是基于路由的联邦方案简称 8.在HDFS缓存指令中支持非易失性存储类内存（SCM）。 旨在首先在读取缓存中启用存储类内存。 尽管存储类内存具有非易失性特征，但是为了保持与当前只读缓存相同的行为，我们目前不使用其持久性特征。 SCM一种新型内存 9.YARN应用程序的应用程序目录 应用程序目录系统，为YARN应用程序提供编辑和搜索界面。 这提高了YARN在管理应用程序生命周期中的可用性。 10.整合腾讯云COS文件系统 腾讯云是中国市场上排名第二的云供应商，对象存储COS已在中国云用户中广泛使用。 该任务实现了一个COSN文件系统，以在Hadoop中原生支持腾讯云COS。 11.opportunistic容器的调度 opportunistic容器调度是通过中央RM（YARN-5220），分布式调度（YARN-2877）以及基于实际节点利用率（YARN-1011）和容器提升/降级（YARN-5085）的容器调度来调度 。 更多详细内容可查看官网 http://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-common/release/3.3.0/RELEASENOTES.3.3.0.html 获取更多资源： 领取100本书+1T资源 http://www.aboutyun.com/forum.php?mod=viewthread&tid=26480 大数据5个项目视频 http://www.aboutyun.com/forum.php?mod=viewthread&tid=25235 名企资源、名企面试题、最新BAT面试题、专题面试题等资源汇总 https://www.aboutyun.com/forum.php?mod=viewthread&tid=27732 名企资源、名企面试题、最新BAT面试题、专题面试题等资源汇总 https://www.aboutyun.com/forum.php?mod=viewthread&tid=27732 本帖子中包含更多资源 您需要 登录 才可以下载或查看，没有账号？立即注册 x
	回复 使用道具 举报

4414站长论坛 4414站长论坛 当前离线 积分 999 291 主题 706 回帖 999 积分 高级会员 高级会员, 积分 999, 距离下一级还需 1 积分 高级会员, 积分 999, 距离下一级还需 1 积分 积分 999 收听TA 发消息	发表于 2024-3-2 09:54:04 | 显示全部楼层 可以，支持腾讯云cos了
	回复 使用道具 举报

4414站长论坛 4414站长论坛 当前离线 积分 999 291 主题 706 回帖 999 积分 高级会员 高级会员, 积分 999, 距离下一级还需 1 积分 高级会员, 积分 999, 距离下一级还需 1 积分 积分 999 收听TA 发消息	发表于 2024-3-2 09:54:32 | 显示全部楼层 顶一下，谢谢楼主分享!
	回复 使用道具 举报

平安鸡 平安鸡 当前离线 积分 1049 285 主题 762 回帖 1049 积分 金牌会员 金牌会员, 积分 1049, 距离下一级还需 1951 积分 金牌会员, 积分 1049, 距离下一级还需 1951 积分 积分 1049 收听TA 发消息	楼主 发表于 2024-3-2 09:55:32 | 显示全部楼层 不错不错，下载一个试有一下。
	回复 使用道具 举报

4414站长论坛 4414站长论坛 当前离线 积分 999 291 主题 706 回帖 999 积分 高级会员 高级会员, 积分 999, 距离下一级还需 1 积分 高级会员, 积分 999, 距离下一级还需 1 积分 积分 999 收听TA 发消息	发表于 2024-3-2 09:55:59 | 显示全部楼层 顶一下，谢谢楼主分享!
	回复 使用道具 举报

阿健 阿健 当前离线 积分 1061 268 主题 791 回帖 1061 积分 金牌会员 金牌会员, 积分 1061, 距离下一级还需 1939 积分 金牌会员, 积分 1061, 距离下一级还需 1939 积分 积分 1061 收听TA 发消息	发表于 2024-3-2 09:56:21 | 显示全部楼层 厉害厉害啊
	回复 使用道具 举报

平安鸡 平安鸡 当前离线 积分 1049 285 主题 762 回帖 1049 积分 金牌会员 金牌会员, 积分 1049, 距离下一级还需 1951 积分 金牌会员, 积分 1049, 距离下一级还需 1951 积分 积分 1049 收听TA 发消息	楼主 发表于 2024-3-2 09:56:51 | 显示全部楼层 厉害厉害啊
	回复 使用道具 举报