kafka监控系统kafka-manager安装采坑指南

关于kafka-manager安装
kafka的安装和使用上面几篇文章已经详细讲解了。下面讲解kafka生产环境监控系统的安装。关于kafka的系统监控有很多开源工具, 你也可以调用kafka的metric和 kafka JMX自己去掉接口然后可视化的展示出来。 如果项目组没有时间重新开发的话,可以使用 kafka-manager这个比较常用的监控工具来监控kakfa。

安装前准备

kafka 版本

支持 Kafka 0.8.. or 0.9.. or 0.10.. or 0.11..

JDK版本

jdk 8+

kafka集群开启 JMX

vi  /opt/wzapp/install/kafka_2.11-1.1.0/bin/kafka-run-class.sh 
#增加
JMX_PORT=9988
# 重启kafka集群

安装

下载

wegt https://github.com/yahoo/kafka-manager/archive/1.3.3.23.tar.gz

安装

安装

./sbt clean dist

配置

## kafka 配置
## 注意这个只配置host:port 不要加zk的path
kafka-manager.zkhosts="192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181"
## 如果kafka安装在zk的/kafka目录那么配置下面的
kafka-manager.base-zk-path="/kafka"

## 生产环境建议只开启cluster的权限,禁止"KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"等权限。
application.features=["KMClusterManagerFeature"]


## 下面三个参数的计算公式
#kafka-manager.broker-view-thread-pool-size=< 3 * number_of_brokers>

kafka-manager.broker-view-thread-pool-size=9
#kafka-manager.broker-view-max-queue-size=< 3 * total # of partitions across all topics>
kafka-manager.broker-view-max-queue-size=800
#kafka-manager.broker-view-update-seconds=< kafka-manager.broker-view-max-queue-size / (10 * number_of_brokers) >
kafka-manager.broker-view-update-seconds= 30

## 生产环境建议开启密码登录
basicAuthentication.enabled=true
basicAuthentication.username="login-name"
basicAuthentication.password="login-pwd"

启动

cd target/universal/kafka-manager-1.3.3.22
 bin/kafka-manager -Dconfig.file=/path/to/application.conf -Dhttp.port=8080

在浏览器中访问

浏览器访问对应的ip和端口,然后配置cluster

##坑

如何解决kafka 在zk中有path的情况

在kafka-manager界面配置cluster的时候

 Cluster Zookeeper Hosts 这一行 配置 
 192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181/kafka 
 ## 注意不要写成 192.168.0.1:2181/kafka,192.168.0.2:2181/kafka,192.168.0.3:2181/kafka
 只要最后一个hosts带path就好了
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
慷慨打赏