HBase Region Locality

因为DataNode和RegionServer通常会部署在相同的机器上,所以会产生Locality这样的概念。

HBase的Locality是通过HDFS的Block复制实现的。在复制Block时,HBase是这样选择副本的位置的:

  • 第一个副本写到本地节点上;
  • 第二个副本写到另一个机架的随机节点上;
  • 第三个副本写到相同机架的一个随机选择的其他节点上;
  • 如果还有更多的副本,这些副本将会写到集群上的随机节点上。

就是这样,在flush或compact后,HBase的Region实现了Locality。

当一个RegionServer处在failover的情况下(rebalance或重启)时,可能会分配到一些没有本地StoreFiles的Region(因为此时没有可用的本地副本)。然而,有新数据再写入这些Region的时候,或者是对表进行compact的时候,StoreFiles将会被重写,这些Region也会再次变成RegionServer的“local”Region。

有一个相关的指标“data locality”,即Region保存在本地的StoreFile的百分比。这个指标影响了major compact的执行。

#########

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据