实验四 运行HBase Shell命令操作数据表 编程调试数据表操作的JAVA程序

    xiaoxiao2022-07-13  153

    一、实验步骤

    (1)HBase安装配置

    ①下载压缩包(选择与自己安装的Hadoop版本的兼容版本,见后面附录) 官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/ 选择稳定版hbase-1.4.9-bin.tar.gz,在Windows里面下载。 ②将压缩包从Windows传输到Linux当前目录下 SecureCRT 【File】→【Connect SFTP Session】开启sftp操作 ③安装 解压安装到指定目录下/opt/module(/opt是系统自带目录,之下的/module是自己创建的) ④配置环境变量 在/etc/profile文件里添加HBase安装路径的配置信息,之后用source命令使配置生效。安装之后的目录为hbase-1.4.9,修改为hbase,所以我的HBase安装路径是/opt/module/hbase。 测试HBase安装成功,命令hbase version,或hbase。

    (2)HBase配置(伪分布式模式)

    配置文件位于HBase安装路径的conf目录(/opt/module/hbase/conf)下面 ①配置hbase-env.sh 设置Java安装路径 设置HBase的配置文件路径(/opt/module/hbase/conf) 采用HBase自带Zookeeper,设置参数true ②配置hbase-site.xml

    <property> <name>hbase.rootdir</name> <value>hdfs://bigdata128:9000/hbase</value> </property> <!--分布式运行模式,false(默认)为单机模式--> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <!--Zookeeper集群的地址列表,伪分布式用默认localhost--> <property> <name>hbase.zookeeper.quorum</name> <value>localhost</value> </property>

    ③启动并运行HBase(之前启动Hadoop) 启动HBase,并jps查看 用完停止HBase运行(之后停止Hadoop) 进入HBase数据库 进入HBase的shell命令行模式 了解命令使用方法,如创建表,输入help ‘create’ ①创建表 ②添加数据 ③查看数据 ④删除数据 ⑤删除表 HBase架构原理

    二、 HBase架构原理

    1、HBase的简介

    HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。 HBase是Google BigTable的开源实现,与Google BigTable利用GFS作为其文件存储系统类似,HBase利用Hadoop HDFS作为其文件存储系统;    Google运行MapReduce来处理BigTable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据; Google BigTable利用Chubby作为协同服务,HBase利用Zookeeper作为协同服务。

    2、HBase系统架构

    从HBase的架构图上可以看出,HBase中的存储包括HMaster、HRegionSever、HRegion、HLog、Store、MemStore、StoreFile、HFile等,以下是HBase存储架构图:

    3、HMaster的作用:

    为HRegionServer分配HRegion 负责HRegionServer的负载均衡 发现失效的HRegionServer并重新分配 HDFS上的垃圾文件回收 处理Schema更新请求

    4、HRegionServer的作用:

    维护HMaster分配给它的HRegion,处理对这些HRegion的IO请求

    三、总结

    *HBase是一种数据库:Hadoop数据库,它是一种NoSQL存储系统,专门设计用来快速随机读写大规模数据。 为了管理模式迁移,建议使用HBase Shell进行脚本编程。 除了JVM之外,还可以选择REST和Thrift

    最新回复(0)