Apache Kafka és una plataforma de codi obert per a la gestió de fluxos de dades en temps real. Va ser desenvolupada originalment per LinkedIn i posteriorment es va convertir en un projecte de l'Apache Software Foundation. Kafka és conegut per la seva capacitat de manejar grans volums de dades amb baixa latència i alta velocitat.

• Broker: Un servidor Kafka que emmagatzema les dades i les serveix als consumidors.
• Topic: Una categoria o flux de dades a la qual es poden publicar missatges.
• Producer: Un client que publica dades en un topic.
• Consumer: Un client que llegeix dades d'un topic.
• Partition: Una subdivisió d'un topic que permet la paral·lelització del processament.
• Offset: Un identificador únic per a cada missatge dins d'una partició.

Kafka segueix una arquitectura distribuïda basada en clústers. Un clúster Kafka està format per múltiples brokers que treballen junts per proporcionar alta disponibilitat i escalabilitat.

• ZooKeeper: Utilitzat per coordinar i gestionar el clúster Kafka.
• Producers: Envien dades als topics.
• Consumers: Llegeixen dades dels topics.
• Connectors: Permeten la integració amb altres sistemes de dades.
• Streams API: Permet el processament de fluxos de dades en temps real.

1. Producció de Dades: Els producers envien missatges a un topic específic.
2. Emmagatzematge de Dades: Els missatges es distribueixen entre les particions del topic.
3. Consum de Dades: Els consumers llegeixen els missatges de les particions.

• Java 8 o superior
• Apache ZooKeeper

1. Descarregar Kafka:

   wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
   tar -xzf kafka_2.13-2.8.0.tgz
   cd kafka_2.13-2.8.0
   

2. Iniciar ZooKeeper:

   bin/zookeeper-server-start.sh config/zookeeper.properties
   

3. Iniciar Kafka:

   bin/kafka-server-start.sh config/server.properties
   

• server.properties:

  broker.id=0
  log.dirs=/tmp/kafka-logs
  zookeeper.connect=localhost:2181
  

1. Objectiu: Crear un topic anomenat logs amb 3 particions i un factor de replicació de 1.
2. Passos:
   • Utilitza la comanda kafka-topics.sh per crear el topic.
   • Verifica la creació del topic amb --list.

1. Objectiu: Enviar missatges al topic logs i llegir-los.
2. Passos:
   • Utilitza kafka-console-producer.sh per enviar missatges.
   • Utilitza kafka-console-consumer.sh per llegir els missatges.

• Error: "Connection refused": Assegura't que ZooKeeper i Kafka estan en execució.
• Error: "Topic already exists": Utilitza un nom de topic diferent o elimina el topic existent abans de crear-ne un de nou.

Apache Kafka és una eina poderosa per al processament de fluxos de dades en temps real. La seva arquitectura distribuïda i la seva capacitat per manejar grans volums de dades el fan ideal per a aplicacions que requereixen alta velocitat i baixa latència. Amb els coneixements adquirits en aquest mòdul, ara pots començar a utilitzar Kafka per a les teves pròpies necessitats de processament de dades massives.