Configurando ambiente Kafka no Windows e Linux

Introdução

O Apache Kafka é uma plataforma opensource de processamento de streams desenvolvida pela Apache Software Foundation, escrita em Scala e Java. O projeto tem como objetivo fornecer uma plataforma unificada, de alta capacidade e baixa latência para tratamento de dados em tempo real.

Pré-requisito: Ter o JDK a partir da versão 1.8 no PATH do SO.

$ wget -c "https://archive.apache.org/dist/kafka/2.4.1/kafka_2.13-2.4.1.tgz"

$ tar -xzvf kafka_2.13-2.4.1.tgz

No Linux (qualquer distro), geralmente é extraído no diretório /opt/kafka

No Windows, pode ser no C:\kafka

Edite o arquivos config/zookeeper.properties, config/server.properties e coloque o caminho do arquivo log

config/zookeeper.properties

No Linux (qualquer distro)

dataDir=/opt/kafka/logs/zookeeper

No Windows

dataDir=C:\kafka\logs\zookeeper

config/server.properties

Descomenta a linha e adicione o IP e porta do servidor Kafka

listeners=PLAINTEXT://127.0.0.1:9092

No Linux (qualquer distro)

log.dirs=/opt/kafka/logs/kafka

No Windows

log.dirs=C:\kafka\logs\kafka

Inicialização dos serviços Zookeeper e Kafka

No Linux (qualquer distro)

$ cd /opt/kafka

$ ./bin/zookeeper-server-start.sh config/zookeeper.properties

$ bin/kafka-server-start.sh config/server.properties

No Windows

cd C:\
cd kafka\bin\windows zookeeper-server-start.bat ../../config/zookeeper.properties
kafka-server-start.bat ../../config/server.properties

Criar um tópico do evento Kafka

Uma vez inicializado o Zookeeper e Kafka, execute o comando para criar o tópico de evento do Kafka

No Linux (qualquer distro)

$ ./bin/kafka-topics.sh --create --topic [nome-topico] --bootstrap-server localhost:9092

Listar o tópico criado

$ bin/kafka-topics.sh --describe --topic [nome-topico] --bootstrap-server localhost:9092

No Windows

bin/kafka-topics.bat --create --topic [nome-topico] --bootstrap-server localhost:9092

bin/kafka-topics.bat --describe --topic [nome-topico] --bootstrap-server localhost:9092

Escrever um evento no tópico

No Linux (qualquer distro)

$ ./bin/kafka-console-producer.sh --topic [nome-topico] --bootstrap-server localhost:9092

No Windows

bin/kafka-console-producer.bat --topic [nome-topico] --bootstrap-server localhost:9092

Ler eventos no tópico

No Linux (qualquer distro)

$ ./bin/kafka-console-consumer.sh --topic [nome-topico] --from-beginning --bootstrap-server localhost:9092

No Windows

bin/kafka-console-consumer.bat --topic [nome-topico] --from-beginning --bootstrap-server localhost:9092

Encerrar o ambiente Kafka

1. Parar o produtor e consumidor com CTRL + C
2. Parar o serviço Kafka com CTRL + C
3. Parar o serviço Zookeeper com CTRL + C

Referências

https://kafka.apache.org/quickstart

Feito!