Kafka 集群安装
时间:2022-10-15 09:00:00
一.Kafka安装
1.我们选择在这里下载kafka 2.12-2.3.0
下载路径如下:http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz。你也可以在这里http://mirror.bit.edu.cn/apache/kafka/选择其他版本。
cd /usr/local wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz tar -zxvf kafka_2.12-2.3.0.tgz rm kafka_2.12-2.3.0.tgz
2.安装完成后,我们需要配置要需要注意server.properties
这个文件。
broker.id=0 #broker.id 就是一个kafka服务器的唯一id得是数字 host.name=192.168.5.130 port=9092 listeners=PLAINTEXT://192.168.5.130:9092 advertised.listeners=PLAINTEXT://192.168.5.130:9092 log.dirs=/usr/local/kafka/data zookeeper.connect=s201:2181,s202:2181,s203:2181
三、配置环境变量
export KAFKA_HOME=/usr/local/kafka export PATH=$PATH:$KAFKA_HOME/bin
二.启动
1.以保护模式启动
kafka-server-start.sh -daemon server.properties
2.将启动命令写入脚本,节省机器启动,注意写入脚本,配置文件的路径应为绝对路径。case 语法,别忘了后面有esac结尾。
#! /bin/bash pcount=$# if((pcount==0));then echo no args; exit; fi case $1 in "start"){
echo "*****start**********" for i in s201 s202 s203 do echo "********$i**********" ssh $i "/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties" done };; "stop"){
echo "*****stop**********" for i in s201 s202 s203 do echo "********span class="token variable">$i**********"
ssh $i "/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties"
done
};;
esac
三.测试
1,查询主题
./kafka-topics.sh --zookeeper s201:2181 --list
./kafka-topics.sh --zookeeper s201:2181 --describe --topic first
2,创建主题
./kafka-topics.sh --zookeeper s201:2181 --create --replication-factor 3 --partitions 1 --topic first
3,删除主题
./kafka-topics.sh --zookeeper s201:2181 --delete --topic first
4,发送消息
./kafka-console-producer.sh --broker-list s201:9092 --topic first
5,消费消息
./kafka-console-consumer.sh --bootstrap-server s201:9092 --topic first --from-beginning