Apache Spark és una plataforma de processament de dades massives de codi obert, dissenyada per ser ràpida i general. Spark proporciona una interfície per a la programació de clústers amb paral·lelisme de dades implícit i tolerància a fallades.

1. RDD (Resilient Distributed Dataset):

   • Estructura fonamental de dades en Spark.
   • Conjunt de dades distribuïdes que poden ser processades en paral·lel.
   • Tolerància a fallades mitjançant la recomputació de particions perdudes.

2. Spark SQL:

   • Mòdul per treballar amb dades estructurades.
   • Permet executar consultes SQL sobre dades en Spark.

3. DataFrame:

   • Col·lecció distribuïda de dades organitzades en columnes nominals.
   • Similar a una taula en una base de dades relacional.

4. Dataset:

   • API de dades fortament tipada.
   • Combina els avantatges de RDD i DataFrame.

5. Spark Streaming:

   • Permet processar fluxos de dades en temps real.
   • Utilitza micro-batching per processar dades en petites unitats de temps.

6. MLlib:

   • Biblioteca de machine learning de Spark.
   • Proporciona algorismes per a classificació, regressió, clustering, etc.

7. GraphX:

   • API per al processament de gràfics.
   • Permet la manipulació i anàlisi de gràfics.

• Java Development Kit (JDK) 8 o superior.
• Apache Hadoop (opcional, per a integració amb HDFS).

1. Descarregar Spark:

   • Visita la pàgina oficial de descàrregues d'Apache Spark.
   • Selecciona la versió desitjada i el paquet precompilat per a Hadoop.

2. Descomprimir l'Arxiu:

   tar -xzf spark-<versió>-bin-hadoop<versió>.tgz
   cd spark-<versió>-bin-hadoop<versió>
   

3. Configurar les Variables d'Entorn:

   • Afegeix Spark al PATH en el fitxer .bashrc o .zshrc:

     export SPARK_HOME=/path/to/spark
     export PATH=$PATH:$SPARK_HOME/bin
     

4. Verificar la Instal·lació:

   spark-shell
   

1. Configuració de Spark:

   • SparkConf i SparkContext s'utilitzen per configurar i inicialitzar Spark.

2. Lectura del Fitxer de Text:

   • sc.textFile llegeix el fitxer de text i crea un RDD.

3. Transformacions:

   • flatMap divideix cada línia en paraules.
   • map crea parelles (clau, valor) per a cada paraula.
   • reduceByKey agrega els valors per clau (paraula) per obtenir el recompte.

4. Acció:

   • saveAsTextFile guarda el resultat en un fitxer de sortida.

Implementa un programa en Spark que llegeixi un fitxer de text i compti la freqüència de cada lletra (ignorant majúscules i minúscules).

1. Lectura del Fitxer de Text:

   • sc.textFile llegeix el fitxer de text i crea un RDD.

2. Transformacions:

   • flatMap converteix cada línia a minúscules, elimina caràcters no alfabètics i divideix en lletres.
   • map crea parelles (clau, valor) per a cada lletra.
   • reduceByKey agrega els valors per clau (lletra) per obtenir el recompte.

3. Acció:

   • saveAsTextFile guarda el resultat en un fitxer de sortida.

En aquesta secció, hem après sobre Apache Spark, una potent eina per al processament de dades massives. Hem explorat els conceptes clau, la instal·lació i configuració, i hem vist exemples pràctics de com utilitzar Spark per comptar paraules i lletres en un fitxer de text. A més, hem proporcionat un exercici pràctic per reforçar els conceptes apresos. En el proper mòdul, explorarem el processament en temps real amb Spark Streaming.