1、简介

在 kafka-zookeeper 集群架构下，zookeeper 管理 kafka 的元数据信息，如何监控这些信息，并且能够直观查看和管理 kafka 一些具体 主题、分区等参数信息，是非常便于开发的，因此Kafka-Eagle 是一个为监控 kafka 集群量身定制的一个项目。

2、Kafka-Eagle 下载安装
2.1、Kafka-Eagle 下载

下载地址：EFAK

2.2、Kafka-Eagle安装
# 1、解压tar -zxvf kafka-eagle-bin-3.0.1.tar.gztar -zxvf efak-web-3.0.1-bin.tar.gz mv efak-* efak # 修改文件夹名# 2、配置环境变量vim /etc/profileexport KE_HOME=/opt/efak # 本次安装在/opt/efak目录下export PATH=$PATH:$KE_HOME/binsource /etc/profile # 激活本次添加的环境变量
2.3、环境准备

Kafka-Eagle 的安装依赖于MySQL，MySQL 主要用来存储可视化展示的数据。需要mysql数据库。 数据库会自动创建一个 ke 并且初始化了一些表结构。

使用 docker 启动mysql。

# 1、拉取镜像docker pull mysql:latest# 2、查看镜像是否存在docker images# 3、启动mysql容器，连接mysql密码设置为123456docker run -p 3306:3306 --name mysql --restart=always --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -d mysql:latest# 4、查看是否启动成功docker ps
2.4、修改efak配置
# vim /opt/efak/conf/system-config.properties# 主要修改以下几个参数efak.zk.cluster.alias=cluster1cluster1.zk.list= node-1:2181,node-2:2181,node-3:2181/kafkacluster1.efak.offset.storage=kafkaefak.driver=com.mysql.cj.jdbc.Driverefak.url=jdbc:mysql://192.168.30.88:3306/ke?useUnicode=true&characterEncoding=UTF8&zeroDateTimeBehavior=convertToNullefak.username=rootefak.password=123456
2.5、修改kafka启动脚本

vim bin/kafka-server-start.sh

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"export JMX_PORT="9999"#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi

注：集群所有kafka节点都要修改。

2.6、efak服务管理
# 1、启动cd /opt/efak/bin./ke.sh start# 2、登录http://ip:8048用户名：admin密码：123456# 3、停止./ke.sh stop

如下图，登录之后显示这个页面就说明成功了。（下图各参数为0，是因为 cluster1.zk.list 参数后面没有加 /kafka 导致的，不影响最后结果）

3、总结

本文详细介绍 kafka-zookeeper 集群架构下，使用Kafka-Eagle 对集群进行监控管理，大大降低使用和管理 kafka 的难度。

本人是一个从小白自学计算机技术，对运维、后端、各种中间件技术、大数据等有一定的学习心得，想获取自学总结资料（pdf版本）或者希望共同学习，关注微信公众号：it自学社团。后台回复相应技术名称/技术点即可获得。（本人学习宗旨：学会了就要免费分享）