kafka 安装,使用教程

    xiaoxiao2025-12-14  1

    记录一下,安装过程 风来了.fox

    1.JAVA JDK 安装和环境变量配置

    http://blog.csdn.net/fenglailea/article/details/52457731

    2.kafka 下载

    http://kafka.apache.org/downloads.html 选择【Binary downloads】下载 这里选择当前最新版(2016-09-07): Scala 2.11 - kafka_2.11-0.10.0.1.tgz (asc, md5) 可以直接使用命令下载

    wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz

    3.安装

    tar -zxvf kafka_2.11-0.10.0.1.tgz cd kafka_2.11-0.10.0.1

    4.目录简介

    xx/bin 启动,停止等命令。 xx/config 配置文件 xx/libs 类库

    5.启动

    按如下顺序启动 启动Zookeeper server

    bin/zookeeper-server-start.sh config/zookeeper.properties &

    启动Kafka server

    bin/kafka-server-start.sh config/server.properties &

    6.停止

    按如下顺序 停止 停止Kafka server

    bin/kafka-server-stop.sh

    停止Zookeeper server

    bin/zookeeper-server-stop.sh

    7.测试

    7.1 producer

    执行

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

    7.2 consumer

    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

    以上 需要2个shell窗口 在producer 端输入字符串并回车, 在consumer端就会显示 你刚输入的数据

    8.kafka创建删除topic

    8.1创建

    方法一:自动创建

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

    方法二: 创建一个拥有3个副本,1个分区的topic

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic test-new

    8.2删除

    bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

    删除kafka存储目录(server.properties文件log.dirs配置,默认为”/tmp/kafka-logs”)相关topic目录删除zookeeper “/brokers/topics/”目录下相关topic节点

    9.查看统计topic

    bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

    输出

    Topic:test PartitionCount:1 ReplicationFactor:1 Configs: Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0

    第一行是对所有分区的一个描述,然后每个分区都会对应一行,因为我们只有一个分区所以下面就只加了一行。 leader:负责处理消息的读和写,leader是从所有节点中随机选择的. replicas:列出了所有的副本节点,不管节点是否在服务中. isr:是正在服务中的节点.

    x.其他问题

    x.1 Error: Could not find or load main class config.zookeeper.properties

    原因:你下载的是 源码,需要编译后才可以安装使用。 解决: 按 2 ,下载已编译的程序进行安装

    最新回复(0)