聊聊HDFS中的副本放置策略和磁盘选择策略间的选择“矛盾”

最新推荐文章于 2024-05-07 09:48:41 发布

Android路上的人

最新推荐文章于 2024-05-07 09:48:41 发布

阅读量2.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： HDFS Hadoop 文章标签：存储策略选择磁盘

本文链接：https://blog.csdn.net/androidlushangderen/article/details/71970499

本文探讨了HDFS中副本放置策略和磁盘选择策略之间的冲突，指出BlockPlacementPolicy选择的目录位置可能被DataNode的VolumeChoosingPolicy覆盖。提出了将服务端选择与DataNode端选择相结合的优化方案，以实现两者选择的一致化，并介绍了相关社区的改进工作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

我们知道，在HDFS里，有2个与文件块写入紧密相连的策略选择类：副本放置策略（BlockPlacementPolicy）和磁盘选择策略（VolumeChoosingPolicy）。这两者有什么作用上的区别呢？前者决定了文件块的目标写入节点，后者决定了目标节点上哪个磁盘目录被写入。之前笔者已经写过相关策略的介绍文章了，感兴趣的同学可以点击此链接：HDFS副本放置策略和DataNode引用计数磁盘选择策略。如果这2个策略你都已经或多或少了解了，那么下面就开始进入本文的主题。

副本放置策略和磁盘选择策略之间的“矛盾”

这里为什么笔者会用了“矛盾”这个词呢？“矛盾”的地方在哪里呢？这个得从BlockPlacementPolicy策略类中的目标节点选择逻辑说起，请看下面一段执行代码：

//在候选节点内为块选出一个合适的存储目录位置
DatanodeStorageInfo chooseStorage4Block(DatanodeDescriptor dnd,
      long blockSize,
      List<DatanodeStorageInfo> results,
      StorageType storageType) {
    DatanodeStorageInfo storage =
        dnd.chooseStorage4Block(storageType, blockSize);
    if (storage != null) {
      result