当前位置：首页 > news >正文

大数据应用开发——大数据平台集群部署（四）

news 2025/4/21 12:12:26

前言

大数据应用开发——大数据平台集群部署

安装虚拟机

集群基础设置

在集群上安装jdk和hadoop

安装mysql和hive

安装spark和zookeeper、hbase

大数据应用开发——实时数据采集

大数据应用开发——实时数据处理

Flink完成Kafka中的数据消费，将数据分发至Kafka的dwd层中

并在HBase中进行备份

大数据应用开发——数据可视化

在集群上安装mysql和hive

安装wget

查看系统版本及操作位数

[root@master ~]# cat /etc/centos-release
[root@master ~]# uname -m

下载安装包

阿里云镜像库 https://mirrors.aliyun.com/centos/7.9.2009/os/x86_64/Packages

wget-1.14-18.el7_6.1.x86_64.rpm

拷贝安装包进行安装

# 将下载好的wget安装包拷贝到对应的目录，然后cd到对应目录执行以下命令 
[root@master ~]# cd /home
[root@master home]# rpm -ivh wget-1.14-18.el7_6.1.x86_64.rpm

yum源处理

删除yum源

[root@master ~]# rm -rf /etc/yum.repos.d/*

下载阿里云yum源 http://mirrors.aliyun.com/repo/Centos-7.repo

拷贝yum源

# 把下载好的Centos-7.repo拷贝到/etc/yum.repos.d/下，没有该文件夹就手动新建一个
[root@master home]# cp Centos-7.repo /etc/yum.repos.d/

清除和生成yum缓存

# 清除缓存
[root@master home]# yum clean all
# 生成缓存
[root@master home]# yum makecache

下载mysql5.7

[root@master ~]# wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
[root@master ~]# yum -y install mysql57-community-release-el7-10.noarch.rpm
[root@master ~]# rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
[root@master ~]# yum -y install mysql-community-server
[root@master ~]#

启动mysql

# 启动mysql
[root@master ~]# systemctl start mysqld       
# 设置开机启动mysql 
[root@master ~]# systemctl enable  mysqld     
# 查看mysql状态
[root@master ~]# systemctl status mysqld

查看mysql密码

[root@master ~]# grep "password" /var/log/mysqld.log

在mysql更改密码策略，并重新设置密码，开启root用户远程访问

# 数据库初始化 Password123$ 修改密码 YYYNYY 修改过程
[root@master ~]# mysql_secure_installation
[root@master ~]# mysql -uroot -pPassword123$
mysql> SHOW VARIABLES LIKE 'validate_password%';
mysql> set global validate_password_policy=LOW;
mysql> set global validate_password_length=6;
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
mysql> use mysql;
mysql> SELECT User,Host FROM user;
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> FLUSH PRIVILEGES;

安装hive

解压apache-hive-3.1.2-bin.tar.gz，并且改名为hive

[root@master software]# tar -zxf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/
[root@master software]# mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

添加hive的环境变量

[root@master software]# vi /etc/profile.d/my-env.sh

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile 使配置生效

[root@master software]# source /etc/profile

解决日志jar包冲突，进⼊/opt/module/hive/lib目录

[root@master lib # mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

将hive元数据配置到mysql

拷贝MySQL的JDBC驱动到hive的lib目录

[root@master lib]# cp /opt/softwares/mysql-connector-java-5.1.37.jar /opt/module/hive/lib/

配置hive-env.sh

[root@master lib]# cd .
[root@master hive]# cd conf/
[root@master conf]# cp hive-env.sh.template hive-env.sh
[root@master conf]# vi hive-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_212
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export HIVE_HOME=/opt/module/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf

配置MetaStore到MySQL

[root@master conf]# cp hive-default.xml.template hive-site.xml
[root@master conf]# vi hive-site.xml

5678dd删除所有
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/hivedb?createDatabaseIfNotExist=true&amp;useSSL=false</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>hive.cli.print.current.db</name><value>true</value></property><property><name>hive.cli.print.header</name><value>true</value></property><property><name>hive.metastore.schema.verification</name><value>false</value></property><property><name>hive.exec.mode.local.auto</name><value>true</value></property>
</configuration>

在mysql创建元数据库metastore

mysql> create database metastore;
Query OK, 1 row affected (0.00 sec)
mysql> exit

解决guava.jar冲突问题

[root@master lib]# rm -rf guava-19.0.jar
[root@master lib]# cp /opt/module/hadoop-3.1.3/share/hadoop/common/lib/guava-27.0-jre.jar /opt/module/hive/lib/

初始化元数据库

[root@master lib]# schematool -initSchema -dbType mysql -verbose

修改元数据库字符集，解决乱码问题

[root@master lib]# mysql -uroot -p123456
mysql> use hivedb;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> alter table COLUMNS_V2 modify column COMMENT varchar(256)
character set utf8;
Query OK, 0 rows affected (0.01 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql>alter table TABLE_PARAMS modify column PARAM_VALUE mediumtext
character set utf8;