Hadoop中一个不明确的内容就是Block复制：它自动完成，通常不需要用户关心。HBase将数据保存到HDFS，并完全相信它的安全性。正是因为HDFS的Block复制对HBase来说是完全透明的，就产生了一个问题：HBase的效率会受到多
[阅读更多...]-
译文：HBase File Locality in HDFS
-
HBase Region Locality
因为DataNode和RegionServer通常会部署在相同的机器上，所以会产生Locality这样的概念。 HBase的Locality是通过HDFS的Block复制实现的。在复制Block时，HBase是这样选择副本的位置的： 第一个
[阅读更多...] -
使用HBase总结
前段时间我们在项目中使用了HBase，在这里记一下使用经历或者说踩过的坑。 RowKey设计 我们读取数据的方式主要是批量查询，因此在最初的设计中就将大部分查询字段放在了RowKey上，目的是利用RowKey作为索引的特性。 关于RowKe
[阅读更多...] -
HBase Bulk Load
概述 BulkLoad是一种高效写入HBase的方式，适用于将数据批量迁移到HBase。 BulkLoad使用MapReduce作业直接生成HBase的StoreFile，并将生成的StoreFile直接装载入正在运行的HBase集群。较之
[阅读更多...] -
hbase.fs.tmp.dir 导致的错误
在执行BulkLoad的时候报了如下的错误： 使用的HBase版本是1.1.2. 从错误日志中可以看到导致这个问题的是HFileOutputFormat2类中的这一行： 关键是“hbase.fs.tmp.dir”这个配置信息。注意这个配置不
[阅读更多...] -
关于和leader沟通
处理了一点儿杂事后什么也不想干，干脆写点儿东西好了。 前两天下班后在地铁上和同事聊了些关于和leader沟通的话题。这两天总结了下，一般情况下有如下几个原则： 经常沟通，让leader知道你在做什么； 遇到问题时最好带上自己的解决方案； 挑
[阅读更多...] -
HBase自定义Filter
必需要提前说明下：不建议使用自定义的Filter。所有的Filter都是在服务端生效：就是说需要将自定义的Filter封装为jar，上传到HBase的类路径下，并重启HBase使之生效。对于生产环境的HBase来说，重启通常是不能接受的。
[阅读更多...] -
通过HA访问Hdfs获取ActiveNode
通过HA访问Hdfs的时候如何获取到活跃节点是一个稍稍有些麻烦的事情。 目前使用过两种方案：一是通过webhdfs接口逐一访问测试，找到状态为可用的节点；一是在zookeeper上直接获取当前活跃的节点。 简单说下第二种方案。ha的Acti
[阅读更多...] -
HBase RowKey设计
热点现象 HBase中的记录行按行键的字典顺序进行排序。这种设计有利于扫描（scan）记录。因此我们可以合理的设计行键，将相关的行或者需要一起读取的行放得靠近一些。不过设计得不好的行键也是热点现象的常见来源。当大量客户端流量指向集群中一个或
[阅读更多...] -
魔术师or建筑师
前段时间（额，至少是六个月前）接手了一个应用。看了一圈代码心里满是郁闷。应用要处理的事情很简单，但是代码一点儿也不简单。给人的感觉就是为了要使用java8的一个特性而生生将程序扭曲成了一个奇怪的东西。当时就有心吐槽一番，不过拖延症发作才等到
[阅读更多...]