Hive 安装

hive 的下载地址为：

https://archive.apache.org/dist/hive/

嵌入模式下，元数据保存在Derby数据库中，且只允许一个会话连接，若尝试多个会话连接时会报错。下面讲解Hive安装之嵌入模式的配置步骤。

下载Hive安装包

首先在Apache镜像网站下载Linux下的Hive安装包（本次教材使用1.2.1版本），下载完毕后，将安装包
apache-hive-1.2.1-bin.tar.gz上传至Linux系统中（本次操作在hadoop01节点上进行演示说明）的/export/software文件夹下，将压缩包解压至/export/servers文件夹下，命令如下：

hive版本hive-1.1.2

同事反馈一个客户端使用op无法正常插入数据，SQL如下

hive --hiveconf mapreduce.job.queuename=root.normal_queues.backstage.yfzx.op --hiveconf mapreduce.job.name="client_10.142.97.123:3000420211211:hql##pdwd.pdwd_pf_test2:1:dwarch:20210908_1:xiaoli" -e "insert overwrite table pdwd.pdwd_pf_test2 PARTITION (pt = '20211211')
select path from  yfzx.hdfs_fsimage_analyze where   dt = '20211212' and ns in ('ns3');"

作者：谢敏灵，Cloudera资深解决方案架构师

背景

数据质量平台基于定义好的数据稽核和数据质量规则，生成Spark SQL并提交运行到HDP 3.1.5集群的Spark 2.3.2上。Spark 通过以下方式之一获取某Hadoop集群上Hive表的数据：

• JDBC方式。Spark基于已有的Presto JDBC客户端，通过Presto服务器获取某Hadoop集群Hive表数据。

今天我们继续HiveSQL执行计划的学习。在学习之前我们先复习之前：

Hive的运行是基于Hadoop集群上的，所以Hive的安装优先得先搭建好Hadoop集群，可以参考：

hadoop 详细安装步骤：
https://www.oraclejsq.com/hdpjc/060102558.html

第 1 步：下载并解压 Hive

本系列几章系统地介绍了开发中Hive常见的用户配置属性（有时称为参数，变量或选项），并说明了哪些版本引入了哪些属性，常见有哪些属性的使用，哪些属性可以进行Hive调优，以及如何使用的问题。以及日常Hive开发中如何进行性能调优。

1. Hive版本

Hive 1.2.1000.2.6.5.0-292

2.问题背景

交付项目上基本所有的脚本任务，都是使用hive脚本的方式生成数据，但是dolphinscheduler的数据质量sql，是基于sparksql构建的