当前位置：首页 > news >正文

Kafka-Eagle 监控搭建

news 2024/11/25 9:30:07

Kafka-Eagle 框架可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。

在生产过程中，想创建topic、查看所有topic、想查看某个topic 想查看分区等，都需要写命令，能不能有一个图形化的界面，让我们操作呢？

MySQL 环境准备

Kafka-Eagle 的安装依赖于 MySQL，MySQL 主要用来存储可视化展示的数据。如果集

群中之前安装过 MySQL 可以跨过该步。

Kafka 环境准备

1）关闭 Kafka 集群

kf.sh stop

2）修改/opt/installs/kafka3/bin/kafka-server-start.sh 命令中

vi bin/kafka-server-start.sh

修改如下参数值：

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" 
fi

为

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"export JMX_PORT="9999"#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

注意：修改之后在启动 Kafka 之前要分发之其他节点

xsync.sh kafka-server-start.sh

xsync.sh 是分发脚本，可参考：实用-集群分发文件脚本-CSDN博客

Kafka-Eagle 安装

0）官网：https://www.kafka-eagle.org

1）上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群/opt/modules 目录

2）解压到本地

tar -zxvf kafka-eagle-bin-2.0.8.tar.gz

3）将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs

cd kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/

4）修改名称

mv efak-web-2.0.8/ efak

5）修改配置文件 /opt/installs/efak/conf/system-config.properties

vi system-config.properties

对应的内容修改如下：

# offset 保存在 kafka 
cluster1.efak.offset.storage=kafkaefak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka# 修改数据库连接：&serverTimezone=GMT  时区一定要写，否则报405错误！
# 127.0.0.1 = localhost   hosts文件中定义的
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT
efak.username=root
efak.password=123456

7）添加环境变量

# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/bin

注意：source /etc/profile

启动数据库：

[root@bigdata01 conf]# systemctl start mysqld
[root@bigdata01 conf]# systemctl status mysqld

新建一个数据库，叫做ke

8）启动

（1）注意：启动之前需要先启动 ZK 以及 KAFKA。

zk.sh start
kf.sh start

zk.sh和kf.sh是启动脚本

（2）启动 efak

bin/ke.sh start

说明：如果停止 efak，执行命令

bin/ke.sh stop

查看可视化大屏的时候：

1、同步一下时间 systemctl restart chronyd
2、要开启消费者
3、要开发生产者
4、关闭flume (选项)
5、如果都没效果，可以添加一句话在zkServer.sh 中
ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"
全部重启一下，这些服务