HBase二级索引Solr

HBase二级索引Solr：

CDH使用Solr实现HBase二级索引 - kekukekro - 博客园

基于CDH的solr Key-Value Store Indexer hbase构建二级索引框架(1)_yzh865318761的博客-CSDN博客

hadoop --config /etc/hadoop/conf jar /opt/cloudera/parcels/CDH/lib/hbase-solr/tools/hbase-indexer-mr-1.5-cdh5.8.5-job.jar --conf /etc/hbase/conf/hbase-site.xml -D 'mapred.child.java.opts=-Xmx 1000m' --hbase-indexer-file /opt/cdhsolr/cctb01/Mapper.xml --morphline-file /opt/cm-5.8.5/run/cloudera-scm-agent/process/1602-ks_indexer-HBASE_INDEXER/morphlines.conf --zk-host s203:2181,s204:2181,s205:2181/solr --collection cctb01 --reducers 0

原来是因为region server每一个都会在写入时检查region对应的memstore总尺寸是否超过memstore默认尺寸的两倍(hbase.hregion.memstore.block.multiplier决定)，如果超过，锁定memstore不要让新的请求进来触发flush，避免产生OOM。由于在flush时还会触发compact/split等操作。由于在flush时还会触发compact/split等待操作。因此，这个过程通常相对较长，必须坚持相应的过程memstore磁盘会完全刷新，所以regionserver会睡眠10s再检查memstore是否低于阀值。

对于在线应用，10s时间是不可接受的，但过程确实很长，所以可以调整以下配置来减少或避免这种情况。

 hbase.hregion.memstore.block.multiplier 8///足够的内存确保不会产生OOM的情况下，调大此值   hbase.server.thread.wakefrequency 100//减少睡眠等待时间，默认值为10000