【大数据存储与处理】实验二 HBase 过滤器操作

实验二?HBase?过滤器操作?

【实验目的】：?

1.掌握使用?HBase?过滤器进行全表扫描。?

【实验内容与要求】：?

在?HBase?中，Get?和?Scan?操作都可以使用过滤器来设置输出的范围，类似于?SQL?里面?

的?Where?查询条件。使用?show_filter?命令可以查看当前?HBase?支持的过滤器类型。?

使用过滤器的语法格式如下所示：?

scan?'表名'，{Filter?=>?”过滤器(比较运算符,’比较器’)”}?

Filter=>指明过滤的方法，整体可用大括号引用，也可以不用大括号。过滤的方法使用?

双引号引用，而比较方式用小括号引用。?

在使用过滤器之前先创建这样的表结构：?

具体执行命令如下：?

创建表：create?'Student'，'StuInfo'，'Grades'?

插入第一个逻辑行的数据：?

put?'Student',?'001',?'StuInfo:name','alice'?

put?'Student',?'001',?'StuInfo:age','18'?

put?'Student',?'001',?'StuInfo:sex','female'?

put?'Student',?'001',?'Grades:english','80'?

put?'Student',?'001',?'Grades:math','90'?

同样插入其他两行数据。?

1．行键过滤器?

包括?RowFilter、PrefixFilter、KeyOnlyFilter、FirstKeyOnlyFilter?等?

格式：scan?‘表名’，{Filter?=>“过滤器(?比较运算符，’比较器’)”}?

（1）RowFilter：针对行键进行过滤?

例?1：显示行键前缀为?0?开头的键值对；?

scan?'student',{FILTER=>"RowFilter(=,'substring:001')"}?

例?2：显示行键字节顺序大于?002?的键值对；?

scan?'student',FILTER=>"RowFilter(>,'binary:002')"?

（2）PrefixFilter：行键前缀过滤器?

例?3：扫描前缀为?001?的行键?

scan?'student',FILTER=>"PrefixFilter('001')"?

（3）FirstKeyOnlyFilter：扫描全表，显示每个逻辑行的第一个键值对?

例?4：?scan?'student',FILTER=>"FirstKeyOnlyFilter()"?

（4）InclusiveStopFilter：替代?ENDROW?返回终止条件行；?

例?5：扫描显示行键?001?到?002?范围内的键值对?

此条命令等同于：?

2．列族与列过滤器?

（1）FamilyFilter：针对列族进行比较和过滤。?

例?1：显示列族前缀为?stu?开头的键值对；?

scan?'student',FILTER=>"FamilyFilter(=,'substring:stu’)?"

scan?'student',FILTER=>"FamilyFilter(>=,‘binary:stu’)?"

（2）QualifierFilter：列标识过滤器。?

例?2：显示列名为?name?的记录；?

scan?'student',FILTER=>"QualifierFilter(=,'substring:name')"?

（3）ColumnPrefixFilter：对列名前缀进行过滤。?

例?2：显示列名为?name?的记录；?

scan?'student',FILTER=>"ColumnPrefixFilter('name')?"?

等价于?scan?'student',FILTER=>"QualifierFilter(=,'substring:name')"?

（4）MultipleColumnPrefixFilter：可以指定多个前缀?

例?3：显示列名为?name?和?age?的记录；?

scan?'student',FILTER=>"MultipleColumnPrefixFilter('name','age')"?

（5）ColumnRangeFilter?：设置范围按字典序对列名进行过滤；?

scan?'student',FILTER=>"ColumnRangeFilter('bi',true,'na',true)"?

3．值过滤器?

（1）ValueFilter?：值过滤器。?

例?1：查询值等于?19?的所有键值对?

scan?'student',FILTER=>"ValueFilter(=,'binary:19')?"?

scan?'student',FILTER=>"ValueFilter(=,'substring:19')?

（2）SingleColumnValueFilter?：在指定的列族和列中进行值过滤器。?

例?2：查询?stuinfo?列族?age?列中值等于?19?的所有键值对?

scan?'student',{COLUMN=>'stuinfo:age',FILTER=>"SingleColumnValueFilter('stuinfo','age',=,'binary:?19')"}?

4．其他过滤器?

（1）ColumnCountGetFilter?：限制每个逻辑行返回的键值对数?

例?1：返回行键为?001?的前?3?个键值对?

get?'student','001',FILTER=>"ColumnCountGetFilter(3)"?

（2）PageFilter?：基于行的分页过滤器，设置返回行数。?

例?2：显示一行?scan?'student',FILTER=>"PageFilter(1)"?

（3）ColumnPaginationFilter?：基于列的进行分页过滤器，需要设置偏移量与返回数量?。?

例?3：显示每行第?1?列之后的?2?个键值对?

scan?'student',FILTER=>"ColumnPaginationFilter(2,1)"?

5．python?hbase?过滤器编程。?

编程输出?Student1?表中行键前缀为?00、列标识为?Name?的值。?

from?thrift?import?Thrift?

from?thrift.transport?import?TSocket?

from?thrift.transport?import?TTransport?

from?thrift.protocol?import?TBinaryProtocol?

from?hbase?import?Hbase?

from?hbase.ttypes?import?*?

host?=?'172.16.3.68'?

port?=?9090?

table?=?'Student1'?

transport?=?TSocket.TSocket(host,?port)?

transport?=?TTransport.TBufferedTransport(transport)?

protocol?=?TBinaryProtocol.TBinaryProtocol(transport)?

client?=?Hbase.Client(protocol)?

transport.open()?

ss?=?client.scannerOpenWithPrefix("Student1","00",["StuInfo:Name"])

print("ss:",client.scannerGetList(ss,10))?

#关闭?scannerId?

client.scannerClose(ss)?

程序运行结果：?

scannerOpenWithPrefix(tableName,startAndPrefix,columns)：在指定表中，扫描具有指定?

前缀的行，扫描指定列的数据。返回一个?ScannerID，int?类型?

tableName：表名?

startAndPrefix：行前缀?

columns：列名列表,list?类型?

6.?Hbase?批量数据导入。把/home/hadoop/datafile?目录下?music1.txt、music2.txt、?

music3.txt?三个记事本文件数据导入到?hbase?中的?ms?表中。参考命令如下：?

1. hbase?shell?中建表：create?'ms','info'?

2、hadoop?fs?-mkdir?/user/hduser/ms?

3、hadoop?fs?-put?music1.txt?music2.txt?music3.txt?/user/hduser/ms?

4、hbase?org.apache.hadoop.hbase.mapreduce.ImportTsv?-Dimporttsv.columns=tmp?-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:singer,info:gender,info:ryghme,info:terminal?ms?/user/hduser/ms?

5、hbase?shell?中查看表数据：scan?'ms'?

思考题：HBase?的过滤器有哪些？分别具有什么作用？?

HBase?是一个分布式、面向列的NoSQL数据库，它提供了各种过滤器来帮助你在检索数据时进行过滤和筛选。这些过滤器可以用于扫描和查询操作，以便只返回符合特定条件的数据。以下是一些常见的?HBase?过滤器以及它们的作用：

1.?SingleColumnValueFilter：

???-?作用：根据指定列的值进行过滤。

???-?用途：允许你筛选出特定列的值等于或不等于指定值的行。

2.?SingleColumnValueExcludeFilter：

???-?作用：与?SingleColumnValueFilter?类似，但是它排除满足条件的行而不返回它们。

???-?用途：用于排除特定列的值等于或不等于指定值的行。

3.?FamilyFilter：

???-?作用：基于列族进行过滤。

???-?用途：可以用于只检索特定列族的数据，或排除特定列族的数据。

4.?QualifierFilter：

???-?作用：基于列限定符（Qualifier）进行过滤。

???-?用途：允许你只返回包含或不包含特定列限定符的列。

5.?RowFilter：

???-?作用：基于行键进行过滤。

???-?用途：可以用于根据行键的前缀或模式来筛选行。

6.?PrefixFilter：

???-?作用：根据行键的前缀进行过滤。

???-?用途：用于筛选出具有特定前缀的行。

7.?PageFilter：

???-?作用：限制返回的结果数量。

???-?用途：允许你指定最大返回行数，通常用于分页查询。

8.?TimestampsFilter：

???-?作用：基于时间戳进行过滤。

???-?用途：可以用于筛选出特定时间范围内的数据。

9.?ValueFilter：

???-?作用：基于值进行过滤。

???-?用途：可以用于只返回具有特定值的行。

10.?CompareFilter：

????-?作用：根据自定义的比较器进行过滤。

????-?用途：允许你定义自己的比较逻辑来筛选数据。

这些过滤器可以根据你的需求组合使用，以实现复杂的数据检索和过滤操作。你可以根据具体的业务需求选择合适的过滤器来优化查询性能并满足数据检索要求。注意，HBase?过滤器通常在客户端应用程序中配置和使用，以便在查询数据时应用过滤条件。

小结?

掌握使用?HBase?过滤器进行全表扫描。注意区分?hbase?shell?命令和?linux?命令。