Apache Spark és una plataforma de computació distribuïda que permet processar grans volums de dades de manera ràpida i eficient. La seva arquitectura està dissenyada per ser escalable, tolerant a fallades i fàcil d'utilitzar. En aquesta secció, explorarem els components clau de l'arquitectura de Spark i com interactuen entre ells.

El Driver Program és el punt d'entrada de qualsevol aplicació Spark. És responsable de:

• Crear el context Spark (SparkContext).
• Definir les transformacions i accions sobre els RDDs (Resilient Distributed Datasets).
• Gestionar la distribució de tasques als executors.

El SparkContext és l'objecte principal que permet la connexió amb el clúster Spark. Proporciona les següents funcionalitats:

• Configuració de l'aplicació.
• Creació de RDDs.
• Coordinació de tasques entre el driver i els executors.

El Cluster Manager és responsable de gestionar els recursos del clúster. Spark pot utilitzar diferents tipus de gestors de clúster, com ara:

• Standalone: Un gestor de clúster simple integrat en Spark.
• Apache Mesos: Un gestor de clúster de codi obert per a entorns de computació distribuïda.
• Hadoop YARN: El gestor de recursos de Hadoop.
• Kubernetes: Un sistema de gestió de contenidors.

Els executors són els processos que realitzen les tasques assignades pel driver. Cada executor:

• Executa les tasques en paral·lel.
• Emmagatzema dades en memòria o en disc.
• Retorna els resultats al driver.

El DAG és una representació gràfica de les operacions que es realitzaran sobre els RDDs. Spark genera un DAG per cada aplicació, que defineix l'ordre d'execució de les tasques.

1. Creació del SparkContext: El driver crea un SparkContext, que connecta amb el cluster manager.
2. Definició de Transformacions i Accions: El driver defineix les transformacions (operacions que creen nous RDDs) i les accions (operacions que retornen un valor o emmagatzemen dades).
3. Generació del DAG: Spark genera un DAG que representa les operacions a realitzar.
4. Planificació de Tasques: El DAG es divideix en etapes, i cada etapa es divideix en tasques que s'assignen als executors.
5. Execució de Tasques: Els executors executen les tasques i retornen els resultats al driver.

A continuació, es mostra un exemple pràctic de com funciona l'arquitectura de Spark amb un codi senzill:

1. Configuració del SparkContext: Es crea un SparkContext amb una configuració específica.
2. Creació d'un RDD: Es crea un RDD a partir d'una llista de dades.
3. Definició de Transformacions: Es defineix una transformació map que multiplica cada element per 2.
4. Definició d'una Acció: Es defineix una acció collect que retorna els resultats al driver.
5. Mostra el Resultat: Es mostra el resultat de l'acció.
6. Atura el SparkContext: Es para el SparkContext per alliberar els recursos.

En aquesta secció, hem explorat l'arquitectura de Spark, incloent els components clau com el Driver Program, SparkContext, Cluster Manager, Executors i el DAG. També hem vist un exemple pràctic de com aquests components interactuen per processar dades. Amb aquesta comprensió, estem preparats per aprofundir en els conceptes bàsics de Spark en el següent mòdul.