Kafka-Eagle 监控 搭建
Kafka-Eagle 框架可以监控 Kafka 集群的整体运行情况,在生产环境中经常使用。
在生产过程中,想创建topic、查看所有topic、想查看某个topic 想查看分区等,都需要写命令,能不能有一个图形化的界面,让我们操作呢?
MySQL 环境准备
Kafka-Eagle 的安装依赖于 MySQL,MySQL 主要用来存储可视化展示的数据。如果集
群中之前安装过 MySQL 可以跨过该步。
Kafka 环境准备
1)关闭 Kafka 集群
kf.sh stop
2)修改/opt/installs/kafka3/bin/kafka-server-start.sh 命令中
vi bin/kafka-server-start.sh
修改如下参数值:
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
为
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"export JMX_PORT="9999"#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
注意:修改之后在启动 Kafka 之前要分发之其他节点
xsync.sh kafka-server-start.sh
xsync.sh 是分发脚本,可参考:实用-集群分发文件脚本-CSDN博客
Kafka-Eagle 安装
0)官网:https://www.kafka-eagle.org
1)上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群/opt/modules 目录
2)解压到本地
tar -zxvf kafka-eagle-bin-2.0.8.tar.gz
3)将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs
cd kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/
4)修改名称
mv efak-web-2.0.8/ efak
5)修改配置文件 /opt/installs/efak/conf/system-config.properties
vi system-config.properties
对应的内容修改如下:
# offset 保存在 kafka
cluster1.efak.offset.storage=kafkaefak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka# 修改数据库连接:&serverTimezone=GMT 时区一定要写,否则报405错误!
# 127.0.0.1 = localhost hosts文件中定义的
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT
efak.username=root
efak.password=123456
7)添加环境变量
# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/bin
注意:source /etc/profile
启动数据库:
[root@bigdata01 conf]# systemctl start mysqld
[root@bigdata01 conf]# systemctl status mysqld
新建一个数据库,叫做ke
8)启动
(1)注意:启动之前需要先启动 ZK 以及 KAFKA。
zk.sh start
kf.sh start
zk.sh和kf.sh是启动脚本
(2)启动 efak
bin/ke.sh start
说明:如果停止 efak,执行命令
bin/ke.sh stop
查看可视化大屏的时候:
1、同步一下时间 systemctl restart chronyd
2、要开启消费者
3、要开发生产者
4、关闭flume (选项)
5、如果都没效果,可以添加一句话 在zkServer.sh 中
ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"
全部重启一下,这些服务
要想看到大屏数据,此处的JMX必须是上线状态:
Kafka-Eagle 页面操作
1)登录页面查看监控数据
http://192.168.10.102:8048/
或者
http://192.168.10.102:8048/ke
切记:假如访问不了,查看efak中的log日志,里面的错误特别的详细,绝对可以解决你的问题。
eagle 可以通过这个图形化界面管理Topic,查看kafka的集群的消息发送和消费情况,还可以操作zk.