CDH-kafka创建主题

2020-06-03 宋洋葱 宋洋葱

目前官网cdh最新版为：Cloudera Manager 7.1.1，不知道是否提供创建kafka主题的便捷操作界面。

我用的版本为：CDH 6.2.0，打开网页端：http://localhost:7180/的管理界面，并没有找到创建主题的按钮或者工具，只能通过命令创建。以下是通过命令创建topic的方法，非常简单。

通过cdh找到kafka集群

enter description here

打开实例，找到主机，选择任何一个节点然后ssh到服务器。

ssh name@yourserver
# 看是把kafka-topics的命令增加到了环境变量
which kafka-topics
# 如果没有则找以下命令执行脚本在哪里
sudo find / -name "kafka-topics"
# 然后创建主题
kafka-topics --create --zookeeper server01:2181/kafka --replication-factor 1 --partitions 20 --topic test_data

创建一个名为test_data的主题，副本1份，分区20个。

–zookeeper参数怎么来呢

依次在cdh管理界面打开“集群–kafka–配置”，可以看到/kafka。

zookeeper-kafka

点击“集群–ZooKeeper–实例”，可以看到主机server01，然后点击“配置–端口和地址”，可以看到端口2181

如果有多个ZooKeeper节点，填写一个就行，填写多个可以如下填写

kafka-topics --create --zookeeper server02:2181,server06:2181,server01:2181/kafka --replication-factor 1 --partitions 20 --topic test_data

创建成功后可以通过cdh查看主题列表

kafka-topics

或者通过命令行查看

kafka-topics --list --zookeeper server02:2181

参考文献：