El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
HOME Els meus cursos Finalitzats
◄ Anterior
◄

Productors i Consumidors

Següent ►
►

En aquest tema, explorarem dos dels components més importants de Kafka: els productors i els consumidors. Aquests elements són fonamentals per entendre com es mouen les dades dins d'un sistema Kafka.

Què és un Productor?

Un productor és una aplicació o procés que envia missatges a un tema de Kafka. Els productors són responsables de publicar dades a Kafka.

Funcions clau dels productors:

  • Enviament de missatges: Els productors envien missatges a un o més temes.
  • Partició dels missatges: Els productors poden decidir a quina partició d'un tema enviar un missatge.
  • Confirmació de lliurament: Els productors poden configurar-se per rebre confirmació de lliurament dels missatges.

Exemple de codi d'un productor en Java:

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;

public class SimpleProducer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        KafkaProducer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 0; i < 10; i++) {
            producer.send(new ProducerRecord<>("my-topic", Integer.toString(i), "my-message-" + i));
        }
        producer.close();
    }
}

Explicació del codi:

  • Properties: Configura les propietats del productor, com ara el servidor de Kafka i els serialitzadors de clau i valor.
  • KafkaProducer: Crea una instància del productor.
  • ProducerRecord: Crea un missatge amb un tema, una clau i un valor.
  • send: Envia el missatge al tema especificat.
  • close: Tanca el productor per alliberar recursos.

Què és un Consumidor?

Un consumidor és una aplicació o procés que llegeix missatges d'un tema de Kafka. Els consumidors són responsables de processar les dades publicades a Kafka.

Funcions clau dels consumidors:

  • Subscripció a temes: Els consumidors es subscriuen a un o més temes per rebre missatges.
  • Processament de missatges: Els consumidors processen els missatges rebuts.
  • Confirmació de processament: Els consumidors poden confirmar que han processat correctament els missatges.

Exemple de codi d'un consumidor en Java:

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import java.util.Collections;
import java.util.Properties;

public class SimpleConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "test-group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("my-topic"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

Explicació del codi:

  • Properties: Configura les propietats del consumidor, com ara el servidor de Kafka, el grup d'identificació i els deserialitzadors de clau i valor.
  • KafkaConsumer: Crea una instància del consumidor.
  • subscribe: Subscripció a un tema.
  • poll: Llegeix els missatges del tema.
  • ConsumerRecord: Representa un missatge rebut, incloent l'offset, la clau i el valor.

Exercicis Pràctics

Exercici 1: Crear un Productor

  1. Configura un productor que enviï missatges a un tema anomenat "test-topic".
  2. Envia 20 missatges amb clau i valor personalitzats.

Exercici 2: Crear un Consumidor

  1. Configura un consumidor que es subscrigui al tema "test-topic".
  2. Llegeix i imprimeix els missatges rebuts.

Solucions

Solució Exercici 1:

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;

public class CustomProducer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        KafkaProducer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 0; i < 20; i++) {
            producer.send(new ProducerRecord<>("test-topic", "key-" + i, "value-" + i));
        }
        producer.close();
    }
}

Solució Exercici 2:

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import java.util.Collections;
import java.util.Properties;

public class CustomConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "test-group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("test-topic"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

Resum

En aquest tema, hem après sobre els productors i els consumidors en Kafka. Els productors són responsables d'enviar missatges a temes, mentre que els consumidors llegeixen i processen aquests missatges. Hem vist exemples pràctics de com configurar i utilitzar productors i consumidors en Java, i hem proporcionat exercicis per reforçar aquests conceptes. En el proper tema, explorarem els temes i les particions en Kafka.

◄ Anterior
◄
Següent ►
►
El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
© Copyright 2024. Tots els drets reservats