El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
HOME Els meus cursos Finalitzats
◄ Anterior
◄

Kafka amb Spark

Següent ►
►

En aquest tema, explorarem com integrar Apache Kafka amb Apache Spark per processar dades en temps real. Aquesta combinació és molt potent per a aplicacions que necessiten processar grans volums de dades amb baixa latència.

Objectius del Tema

  • Entendre la integració entre Kafka i Spark.
  • Configurar un entorn per a la integració de Kafka amb Spark.
  • Escriure aplicacions Spark que consumeixin dades de Kafka.
  • Realitzar operacions bàsiques de processament de dades amb Spark Streaming.

  1. Introducció a Spark Streaming

Apache Spark és un motor de processament de dades en temps real que permet processar fluxos de dades de manera eficient. Spark Streaming és una extensió de Spark que permet processar fluxos de dades en temps real.

Característiques Clau de Spark Streaming

  • Processament en temps real: Permet processar dades a mesura que arriben.
  • Integració amb altres components de l'ecosistema Big Data: Com Kafka, HDFS, Flume, etc.
  • Escalabilitat: Pot processar grans volums de dades distribuint la càrrega entre múltiples nodes.

  1. Configuració de l'Entorn

Requisits Previs

  • Apache Kafka: Instal·lat i configurat.
  • Apache Spark: Instal·lat i configurat.
  • Java: Instal·lat (JDK 8 o superior).
  • Scala: Opcional, però recomanat per a la programació amb Spark.

Passos per Configurar l'Entorn

  1. Descarregar i Instal·lar Kafka:

    wget https://archive.apache.org/dist/kafka/2.8.0/kafka_2.13-2.8.0.tgz
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0

  2. Descarregar i Instal·lar Spark:

    wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
tar -xzf spark-3.1.2-bin-hadoop3.2.tgz
cd spark-3.1.2-bin-hadoop3.2

  3. Iniciar Zookeeper i Kafka:

    # Iniciar Zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties

# Iniciar Kafka
bin/kafka-server-start.sh config/server.properties

  4. Crear un Tema en Kafka:

    bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

  1. Consumir Dades de Kafka amb Spark

Exemple de Codi en Scala

A continuació, es mostra un exemple de com consumir dades de Kafka utilitzant Spark Streaming en Scala.

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka010._
import org.apache.kafka.common.serialization.StringDeserializer

object KafkaSparkExample {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("KafkaSparkExample").setMaster("local[*]")
    val ssc = new StreamingContext(conf, Seconds(10))

    val kafkaParams = Map[String, Object](
      "bootstrap.servers" -> "localhost:9092",
      "key.deserializer" -> classOf[StringDeserializer],
      "value.deserializer" -> classOf[StringDeserializer],
      "group.id" -> "example-group",
      "auto.offset.reset" -> "latest",
      "enable.auto.commit" -> (false: java.lang.Boolean)
    )

    val topics = Array("test-topic")
    val stream = KafkaUtils.createDirectStream[String, String](
      ssc,
      LocationStrategies.PreferConsistent,
      ConsumerStrategies.Subscribe[String, String](topics, kafkaParams)
    )

    stream.map(record => (record.key, record.value)).print()

    ssc.start()
    ssc.awaitTermination()
  }
}

Explicació del Codi

  • Configuració de Spark: Es crea una configuració de Spark amb el nom de l'aplicació i el mode de master.
  • StreamingContext: Es crea un context de streaming amb un interval de batch de 10 segons.
  • Paràmetres de Kafka: Es defineixen els paràmetres necessaris per connectar-se a Kafka.
  • Creació del Stream: Es crea un stream directe des de Kafka utilitzant KafkaUtils.createDirectStream.
  • Processament del Stream: Es processa el stream mapejant cada registre a una tupla (key, value) i es mostra per pantalla.

  1. Exercicis Pràctics

Exercici 1: Consumir i Processar Dades

  1. Objectiu: Escriure una aplicació Spark que consumeixi dades de Kafka i compti el nombre de paraules en els missatges.
  2. Pistes:
    • Utilitza la funció flatMap per dividir els missatges en paraules.
    • Utilitza la funció map per crear parelles (paraula, 1).
    • Utilitza la funció reduceByKey per sumar les paraules.

Solució

stream.flatMap(record => record.value.split(" "))
      .map(word => (word, 1))
      .reduceByKey(_ + _)
      .print()

Exercici 2: Filtrar Missatges

  1. Objectiu: Escriure una aplicació Spark que consumeixi dades de Kafka i només mostri els missatges que continguin una paraula específica (per exemple, "error").
  2. Pistes:
    • Utilitza la funció filter per seleccionar els missatges que continguin la paraula "error".

Solució

stream.filter(record => record.value.contains("error"))
      .print()

  1. Resum

En aquest tema, hem après com integrar Apache Kafka amb Apache Spark per processar dades en temps real. Hem configurat l'entorn necessari, escrit una aplicació Spark per consumir dades de Kafka i realitzat operacions bàsiques de processament de dades. Aquesta combinació és molt potent per a aplicacions que necessiten processar grans volums de dades amb baixa latència.

En el següent tema, explorarem com integrar Kafka amb Flink per a un processament de dades en temps real més avançat.

◄ Anterior
◄
Següent ►
►
El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
© Copyright 2024. Tots els drets reservats