HIVE集群安装

时间：2023-10-01 14:03:34 固态继电器s203zl

1.初步准备：

准备三台虚拟机IP分别为：

192.168.5.130 s201 192.168.5.131 s202  我在这个服务器上安装的mysql 192.168.5.132 s203

需要安装好JDK，环境有效
需要配置好Hadoop并启动
需要安装和配置Mysql

2.安装Hive

在Apache我们可以下载官方镜像Hive各版：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

在这里我们选择最新版本Hive_2.3.5

首先下载Hive_2.3.5

cd /usr/local wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/stable-2/apache-hive-2.3.5-bin.tar.gz tar -zxvf apache-hive-2.3.5-bin.tar.gz mv apache-hive-2.3.5-bin hive-2.3.5

修改环境变量：

vim /etc/profile  # 在尾部添加内容 export HIVE_HOME="/usr/local/hive-2.3.5" export PATH=$PATH:$HIVE_HOME/bin  # 刷新配置 source /etc/profile

HIVE我们选择远程运行模式有三种。Mysql模式。设置Hive核心配置：

vim /hive-2.3.5/conf/hive-site.xml  # 添加以下内容，IP(Master)改为主机IP <?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration>         <property>                 <name>javax.jdo.option.ConnectionURL</name>                 <value>jdbc:mysql://s202:3306/hivedb?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false&amp;serverTimezone=GMT</value>         </property>          <property>                 <name>javax.jdo.option.ConnectionDriverName</name>                 <value>com.mysql.cj.jdbc.Driver</value>        </property>

		## 你的Mysql账号
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>

		## 你的Mysql密码
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>root</value>
        </property>
		
		## 忽略HIVE 元数据库版本的校验，如果非要校验就得进入MYSQL升级版本
        <property>
                <name>hive.metastore.schema.verification</name>
                <value>false</value>
        </property>
        
        <property> 
             <name>hive.cli.print.current.db</name>
             <value>true</value>
        </property>
        
        <property> 
                 <name>hive.cli.print.header</name>
                 <value>true</value>
        </property>
        
		<!-- hiveserver2 -->
        <property>
                 <name>hive.server2.thrift.port</name>
                 <value>10000</value>
        </property>

    	<property>
       		<name>hive.server2.thrift.bind.host</name>
       		<value>Master</value>
     	</property>

</configuration>

把所有${system:java.io.tmpdir} 替换成固定的目录 /usr/local/hive-2.3.5/tmp 如果没有tmp 就建立下文件夹

通过下列连接下载MySQL连接包并放至HIVE的lib目录：

cd $HIVE_HOME/lib
wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.17/mysql-connector-java-8.0.17.jar

在mysql端执行如下命令创建HIVE的元数据存储库：

create database hivedb;

执行HIVE的初始化工作：

schematool -initSchema -dbType mysql

初始化完成后，在Mysql端使用以下指令查看是否初始化成功：

use hivedb
show tables

若展示出多个数据表，即代表初始化成功。

下面我们使用beeline来使用HIVE，注意若你要使用MR，则可以使用hive。但在新版本中推荐使用beeline,而beeline内置使用了Spark。

首先启动hiveserver2并令其处于挂起状态：

cd ..
nohup hiveserver2>> hiveserver2.log 2>&1 &

如果不使用beeline也可以直接hive命令，操作hive。
到此处我们的HIVE就安装得差不多的，下面我们针对其进行实战操作。

锐单商城拥有海量元器件数据手册、IC替代型号，打造电子元器件IC百科大全！

HIVE集群安装

相关文章