安装配置Hive、MySQL以及JDBC驱动

    xiaoxiao2025-12-23  8

    实验内容:安装配置Hive、MySQL以及JDBC驱动

    实验步骤:

    一 .Hive安装与配置

    下载压缩包

    官网下载地址:http://mirror.bit.edu.cn/apache/hive/ 

    选择apache-hive-2.3.4-bin.tar.gz,在Windows里面下载。

    将压缩包从Windows传输到Linux当前目录下

    SecureCRT 【File】→【Connect SFTP Session】开启sftp操作

    解压

    解压安装到指定目录下/opt/module(/opt是系统自带目录,之下的/module是自己创建的)

    修改解压目录名为hive。

    修改环境变量

    修改etc/profile文件,添加HIVE_HOME安装路径。

    Source命令更新etc/profile文件,使其生效。

    配置hive-env.sh

    进入/opt/module/hive/conf目录,修改hive-env.sh.template的文件名为hive-env.sh。(可以使用cp或者mv命令)

    配置hive-site.xml

    进入/opt/module/hive/conf目录,修改default.xml.template的文件名为hive-site.xml。(可以使用cp或者mv命令)

    二 .MySQL Connector/J安装

    三 .启动hive

    启动Hadoop:start-all.sh初始化Metastore架构:schematool -dbType mysql -initSchema启动Hive:hive

    hive> 进入hive shell

    创建/删除/修改/查看 数据库、表、视图,向表中装载数据,查询数据等等。

    四 .Hive应用实例:wordcount

    建数据源文件并上传到hdfs的/user/input目录下建数据源表t1:create table t1 (line string);装载数据:load data inpath '/user/input' overwrite into table t1;编写HiveQL语句实现wordcount算法,建表wct1保存计算结果:

    create table wct1 as select word, count(1) as count from (select explode (split (line, ' ')) as word from t1) w group by word order by word;

    查看wordcount计算结果
    最新回复(0)