Hive安装与配置

2023-04-11 18:01
509
0

文章导读
        Hive是基于Hadoop的数据管理工具,通常用于大数据环境下的OLAP系统,本次安装的Hive2.3.9版本是基于Hadoop2.10.1版本

Hive下载
        进入Apache Hive的官网,找到下载链接进入Hive版本库,这里有各大版本的推荐,和历史版本的仓库,可以根据自己的需要选择下载.在安装Hive之前需要安装Hive的元数据库

Hive安装
        将Hive的tgz的包上传到指定的安装路径中解压,把Hive的环境变量配置到/etc/profile中.

HIVE_HOME=/usr/local/soft/apache-hive-2.3.9-bin


         Hive的元数据库是MySQL,所以我们还需要把mysql的驱动mysql-connector-java-5.1.47.jar上传至.../apache-hive-2.3.9-bin/lib目录下.

         在hdfs上新建如下目录,并修改读写权限

[root@hadoop01 sbin]# hadoop fs -mkdir -p /tmp
[root@hadoop01 sbin]# hadoop fs -mkdir -p /user/hive/warehouse
[root@hadoop01 sbin]# hadoop fs -chmod g+w  /user/hive/warehouse
[root@hadoop01 sbin]# hadoop fs -chmod g+w  /tmp
 
# 将conf目录下的模板配置文件更改名字如下
-rw-r--r-- 1 root root   1596 Jun  2  2021 beeline-log4j2.properties
-rw-r--r-- 1 root root   2462 May 29 17:12 hive-env.sh
-rw-r--r-- 1 root root   2274 Jun  2  2021 hive-exec-log4j2.properties
-rw-r--r-- 1 root root   2925 Jun  2  2021 hive-log4j2.properties
-rw-r--r-- 1 root root 258569 May 29 16:57 hive-site.xml
-rw-r--r-- 1 root root   2060 Jun  2  2021 ivysettings.xml
-rw-r--r-- 1 root root   2719 Jun  2  2021 llap-cli-log4j2.properties
-rw-r--r-- 1 root root   7041 Jun  2  2021 llap-daemon-log4j2.properties
-rw-r--r-- 1 root root   2662 Jun  2  2021 parquet-logging.properties

修改hive-env.sh
export JAVA_HOME=/usr/local/soft/jdk1.8.0_333
export HADOOP_HOME=/usr/local/soft/hadoop-2.10.1

增加hive-site.xml
注意:用于配置MySQL的关联下面xml里的ConnectionUserName和ConnectionPassword配置的是mysql的用户名密码,上文已经设置过都是hive,如果上文自己设置别的用户名密码,请自行修改.

    <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>/user/hive/warehouse</value>
            <description/>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true</value>
      <description>数据库连接</description>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
      <description/>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
      <description/>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>123456</value>
      <description/>
  </property>
  <property>
       <name>hive.querylog.location</name>
       <value>/home/hadoop/logs/hive/job-logs/${user.name}</value>
       <description>Location of Hive run time structured log file</description>
  </property>
  <property>
    <name>hive.exec.scratchdir</name>
    <value>/user/hive/tmp</value>
  </property>

Hive启动
初始化Hive
进入$HIVE_HOME/bin目录下,执行如下命令初始化Hive

./schematool -dbType mysql -initSchema root 123456
启动
# $HIVE_HOME/bin
hive
参考博文
hive2.3.7安装记录_5axz的博客-CSDN博客 

全部评论