本文将介绍如何在HBase 2.3.7中配置snappy压缩。snappy是一种快速的数据压缩和解压缩算法，可以提高HBase的存储空间利用率和读写性能。本文将使用HBase 2.3.7版本，运行在三个Ubuntu系统的虚拟机中，分别作为master和slave节点。

主要步骤如下：

  • 安装snappy，并检查是否成功。
  • 配置Hadoop，添加snappy的相关配置。
  • 配置HBase，添加snappy的相关配置。
  • 重启Hadoop和HBase服务。
  • 验证snappy压缩，使用CompressionTest工具和HBase Shell命令。

本文使用了HBase 2.3.7版本，运行在三个Ubuntu系统的虚拟机中，分别作为master和slave节点。也可以使用其他版本的HBase和其他操作系统，只要保证snappy的安装和配置正确

一、安装snappy

  • 在每个节点上，下载snappy的源码包，并解压。例如：
wget https://github.com/google/snappy/releases/download/1.1.9/snappy-1.1.9.tar.gztar -zxvf snappy-1.1.9.tar.gz
  • 进入解压后的目录，编译并安装snappy。例如：
cd snappy-1.1.9./configuremakesudo make install
  • 检查是否安装成功，可以使用ldconfig命令查看是否有libsnappy.so的链接。例如：
sudo ldconfig -p | grep libsnappy.so
  • 如果输出类似如下内容，说明安装成功：
libsnappy.so.1 (libc6,x86-64) => /usr/local/lib/libsnappy.so.1libsnappy.so (libc6,x86-64) => /usr/local/lib/libsnappy.so

二、配置Hadoop

  • 在每个节点上，编辑Hadoop的配置文件core-site.xml，添加以下内容：
io.compression.codecsorg.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodecio.compression.codec.snappy.nativetrue

  • 这些配置指定了Hadoop支持的压缩编码器，并启用了snappy的本地库。

  • 在每个节点上，编辑Hadoop的配置文件hadoop-env.sh，添加以下内容：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
  • 这个配置指定了Hadoop加载本地库的路径。

三、配置HBase

  • 在每个节点上，编辑HBase的配置文件hbase-env.sh，添加以下内容：
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
  • 这个配置指定了HBase加载本地库的路径。

四、重启Hadoop和HBase

  • 在每个节点上，重启Hadoop和HBase服务。例如：
stop-dfs.shstop-yarn.shstop-hbase.shstart-dfs.shstart-yarn.shstart-hbase.sh

五、验证snappy压缩

  • 在任意一个节点上，进入HBase Shell，使用CompressionTest工具验证snappy支持是否启用，并且本地库是否可以加载。例如：
hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://host/path/to/hbase snappy
  • 如果输出类似如下内容，说明验证成功：
2023-5-28 10:23:45,123 INFO [main] Configuration.deprecation: io.bytes.per.checksum is deprecated. Instead, use dfs.bytes-per-checksum2023-5-28 10:23:45,124 INFO [main] hfile.CacheConfig: CacheConfig:disabled2023-5-28 10:23:45,125 INFO [main] hfile.CacheConfig: CacheConfig:disabledSUCCESS
  • 在HBase Shell中，创建一个使用snappy压缩的表，并查看表的描述信息。例如：
create 't1', { NAME => 'cf1', COMPRESSION => 'SNAPPY' }describe 't1'
  • 如果输出类似如下内容，说明创建成功：
Table t1 is ENABLEDt1, {TABLE_ATTRIBUTES => {coprocessor$1 => '|org.apache.hadoop.hbase.coprocessor.MultiRowMutationEndpoint|536870911|'}COLUMN FAMILIES DESCRIPTION{NAME => 'cf1', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'SNAPPY', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}1 row(s)Took 0.0179 seconds
  • 压缩测试

在HBase shell中将rawdata表转为压缩并整理，该表在创建时未设置压缩格式

alter 'rawdata', NAME => 'f1', COMPRESSION => 'snappy'major_compact 'rawdata'

得到前后存储空间占用情况对比，效果显著，最上面有COMPRESSION压缩格式设置

前：

后：