大数据技术与应用实验六

    xiaoxiao2022-07-05  250

    实验六:hive的安装与配置

    mysql和hive的安装与配置

    一、安装MySQL

    1、下载 :在官网下载MySQL: http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 2、解压 rpm -ivh mysql-community-release-el7-5.noarch.rpm 我的是存放在以下文件夹: put F:\mysql\mysql-community-release-el7-5.noarch.rpm 3、安装 yum install mysql-community-server 4、重启mysql服务: service mysqld restart (以后开机不需启动mysql)

    5、进入mysql:mysql -u root →为root用户设置密码root:mysql> set password for ‘root’@‘localhost’ =password(‘root’); 主要设置密码的方法有以下几种: 配置文件/etc/my.cnf加上编码配置:[mysql] default-character-set =utf8 远程连接设置: 把在所有数据库的所有表的所有权限赋值给位于所有IP地址的root用户: mysql> grant all privileges on . to root@’ %‘identified by ‘root’; mysql>flush privileges; 刷新权限 如果是新用户而不是root,则要先新建用户: mysql>create user ‘username’@’ %’ identified by ‘password’;

    二、Hive安装与配置

    1、下载hive相关压缩包 官网下载地址是:http://mirror.bit.edu.cn/apache/hive/ 下载apache-hive-2.3.4-bin.tar.gz

    2、传输 将压缩包从Windows传输到Linux当前目录下 SecureCRT 【File】→【Connect SFTP Session】开启sftp操作 put F:\hive\apache-hive-2.3.5-bin.tar.gz 3、解压 解压安装到指定目录下/opt/module (我的是直接在opt下面,与module同一级别)

    4、修改环境变量 修改etc/profile文件,添加HIVE_HOME安装路径。 Source命令更新etc/profile文件,使其生效。

    5、配置hive-env.sh 进入/opt/module/hive/conf目录,修改hive-env.sh.template的文件名为hive-env.sh。(可以使用cp或者mv命令) cp hive-env.sh.template hive-env.sh 修改Hadoop的安装路径 HADOOP_HOME=/opt/module /hadoop-2.7.3 修改Hive的conf目录的路径 export HIVE_CONF_DIR=/opt/module/hive/conf

    6、配置hive-site.xml 进入/opt/module/hive/conf目录,修改default.xml.template的文件名为hive-site.xml。(可以使用cp或者mv命令) cp hive- default.xml.template hive-site.xml 7、在最后添加以下属性:

    <name>javax.jdo.option.ConnectionURL</name>

    jdbc:mysql://bigdata131:3306/hivedb?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore

    <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword root password to use against metastore database

    注: 查看Hive建库、建表默认的hdfs目录为/user/hive/warehouse hive.metastore.warehouse.dir /user/hive/warehouse location of default database for the warehouse

    三、MySQL Connector/J安装

    1、下载压缩包 官网下载地址:http://ftp.ntu.edu.tw/MySQL/Downloads/Connector-J/ mysql-connector-java-5.1.47.tar.gz 2、传输 将压缩包从Windows传输到Linux当前目录下¬¬ SecureCRT 【File】→【Connect SFTP Session】开启sftp操作 3、解压 解压到指定目录下/opt/module(/opt是系统自带目录,之下的/module是自己创建的) 4、拷贝驱动包 将驱动包mysql-connector-java-5.1.47-bin.jar复制到/opt/module/hive/lib目录中。

    四、启动hive

    1、启动Hadoop:start-all.sh 2、初始化Metastore架构:schematool -dbType mysql -initSchema 3、启动Hive:hive hive> 进入hive shell 4、创建/删除/修改/查看 数据库、表、视图,向表中装载数据,查询数据等等。

    最新回复(0)