hive安装

• 1、修改jdk版本为jdk8
• 2、修改hadoop配置
• 3、安装hive
• 4、初始化元数据
• 5、创建hive的存储目录
• 6、启动hive
• 7、客户端连接

本次操作是在安装完hadoop的基础上进行的，安装hadoop请参看上篇博客。

hive会使用到mysql，所以需要提前安装好mysql服务。可以参看这篇博客mysql解压版安装_wbo112的博客-CSDN博客。

本次所有操作也都是基于hadoop用户执行。

jdk8以上会报类加载器的报错，需要用jdk8。请自行将jdk版本换成jdk8。

本次hive安装到hadoop1节点上。

1、修改jdk版本为jdk8

由于我们hive只装到hadoop1节点上，所以只修改hadoop1节点上的jdk就可以了。

我使用的是jdk-8u211-linux-x64.tar.gz,已上传到/home/hadoop/software目录中。

• 解压jdk8

tar -zxvf jdk-8u211-linux-x64.tar.gz

• 修改环境变量

  修改~/.bashrc,将JAVA_HOME修改为jdk8的安装目录。

  执行source ~/.bashrc 使环境变量生效。

• 执行java -version验证修改

2、修改hadoop配置

修改hadoop配置在hadoop1上执行，后分发到其他节点。

• 节点/home/hadoop/software/hadoop-3.2.3/etc/hadoop/core-site.xml文件中加入如下配置。

	
            hadoop.proxyuser.hadoop.hosts
            *
    
    
            hadoop.proxyuser.hadoop.groups
            *
    

• 将刚才修改的core-site.xml拷贝至其他节点

scp /home/hadoop/software/hadoop-3.2.3/etc/hadoop/core-site.xml  hadoop2:/home/hadoop/software/hadoop-3.2.3/etc/hadoop/
scp /home/hadoop/software/hadoop-3.2.3/etc/hadoop/core-site.xml  hadoop3:/home/hadoop/software/hadoop-3.2.3/etc/hadoop/

• 在hadoop1节点上重启服务

  stop-dfs.sh
  start-dfs.sh
  

3、安装hive

我本次使用的是apache-hive-3.1.2-bin.tar.gz,已经上传到了/home/hadoop/software/目录。

cd /home/hadoop/software/
tar -zxvf apache-hive-3.1.2-bin.tar.gz

2.1 、hadoop与hive的guava有冲突，需要删除hive中的guava，将hadoop中的guava拷贝过来。

rm /home/hadoop/software/apache-hive-3.1.2-bin/lib/guava-19.0.jar
cp /home/hadoop/software/hadoop-3.2.3/share/hadoop/common/lib/guava-27.0-jre.jar     /home/hadoop/software/apache-hive-3.1.2-bin/lib/

2.2、接下来就要进入/home/hadoop/software/apache-hive-3.1.2-bin/conf/ 目录，修改配置:

• 创建一个hive-env.sh

  cp hive-env.sh.template hive-env.sh  # 
  

  添加如下配置:

  HADOOP_HOME=/home/hadoop/software/hadoop-3.2.3
  export HIVE_CONF_DIR=/home/hadoop/software/apache-hive-3.1.2-bin/conf
  xport HIVE_AUX_JARS_PATH=/home/hadoop/software/apache-hive-3.1.2-bin/lib
  

• 创建hive-site.xml

  <?xml version="1.0" encoding="UTF-8" standalone="no"?>
  
      
      
          javax.jdo.option.ConnectionURL
          jdbc:mysql://hadoop1:3306/hive3?createDatabaseIfNotExist=true&useSSL=false&serverTimezone=UTC
      
  
      
          javax.jdo.option.ConnectionDriverName
          com.mysql.cj.jdbc.Driver
      
  
      
          javax.jdo.option.ConnectionUserName
          root
      
  
      
          javax.jdo.option.ConnectionPassword
          123456
      
  
      
      
          hive.server2.thrift.bind.host
          hadoop1
      
  
      
      
          hive.metastore.uris
          thrift://hadoop1:9083
      
  
      
      
          hive.metastore.event.db.notification.api.auth
          false
      
  
  
  

• 将mysql的jdbc包拷贝到hive的lib目录中(最好是mysql-connector-java-8.x.xx.jar)。

4、初始化元数据

cd /home/hadoop/software/apache-hive-3.1.2-bin
./bin/schematool -initSchema -dbType mysql -verbos   #如果是其他数据库，修改这里的mysql就可以了 

执行完之后，mysql中就会有个hive3的数据库，里面有74个表

5、创建hive的存储目录

hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

6、启动hive

cd /home/hadoop/software/apache-hive-3.1.2-bin
nohup ./bin/hive --service metastore &
nohup ./bin/hive --service hiveserver2 &

# 前台启动
# ./bin/hive --service metastore

# 前台启动开启debug日志
#./bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console 

查看进程，会发现有两个RunJar进程

启动后，web界面也可以打开，默认端口是10002。

7、客户端连接

之前的客户端工具是./bin/hive,目前已经被弃用，现在推荐使用./bin/beeline.

关于hive客户端的操作，具体可以看官方文档.LanguageManual Cli - Apache Hive - Apache Software Foundation

使用bin/beeline进行访问(可以在所有节点上操作。只需要把hive安装包拷贝过去，不需要再做任何其他操作)

关于beeline的更多内容，还是建议看官方文档HiveServer2 Clients - Apache Hive - Apache Software Foundation

! connect jdbc:hive2://hadoop1:10000

---

这里有个细节需要注意下：

如果是刚启动hive后，使用beeline连接会报错，看日志是当前没有org/apache/tez/dag/api/TezConfiguration,会60s后重启，用其他去连接，所以需要hive启动60s后才能连接成功。

---

日志默认在tmp/hadoop/hive.log文件中