En aquest tema, aprendrem com configurar i executar Apache Spark a Amazon Web Services (AWS). AWS és una plataforma de computació al núvol que ofereix una àmplia gamma de serveis, incloent-hi el servei de computació elàstica (EC2) i el servei de processament de dades (EMR), que són molt útils per executar aplicacions Spark.

• Entendre els conceptes bàsics d'AWS necessaris per executar Spark.
• Configurar un clúster Spark utilitzant Amazon EMR.
• Executar aplicacions Spark en un clúster EMR.
• Monitoritzar i gestionar el clúster Spark a AWS.

Amazon Elastic Compute Cloud (EC2) proporciona capacitat de computació escalable al núvol. Amb EC2, podeu llançar màquines virtuals (instàncies) i configurar-les segons les vostres necessitats.

Amazon Elastic MapReduce (EMR) és un servei gestionat que facilita el processament de grans volums de dades utilitzant frameworks com Apache Spark, Hadoop, i altres. EMR simplifica la configuració, gestió i escalabilitat dels clústers.

Amazon S3 és un servei d'emmagatzematge d'objectes que permet emmagatzemar i recuperar qualsevol quantitat de dades en qualsevol moment. És ideal per emmagatzemar dades d'entrada i sortida per a les aplicacions Spark.

1. Accediu a la Consola d'AWS: Inicieu sessió a la consola d'AWS.
2. Navegueu a EMR: Aneu a la secció de serveis i seleccioneu EMR.
3. Creeu un Clúster: Feu clic a "Create cluster".
4. Configuració Bàsica:
   • Nom del Clúster: Introduïu un nom per al vostre clúster.
   • Llançament Ràpid: Seleccioneu "Go to advanced options" per personalitzar la configuració.
5. Configuració del Software:
   • Release: Seleccioneu la versió d'EMR que voleu utilitzar.
   • Aplicacions: Seleccioneu Spark.
6. Configuració del Clúster:
   • Tipus d'Instància: Seleccioneu el tipus d'instància per al node mestre i els nodes esclaus (per exemple, m5.xlarge).
   • Nombre de Nodes: Especifiqueu el nombre de nodes esclaus.
7. Configuració de la Xarxa:
   • VPC: Seleccioneu la VPC i la subxarxa.
   • Seguretat: Configureu els grups de seguretat per permetre l'accés SSH i altres serveis necessaris.
8. Emmagatzematge:
   • S3 Bucket: Especifiqueu un bucket S3 per emmagatzemar els logs del clúster.
9. Llançar el Clúster: Feu clic a "Create cluster".

1. Obtenir l'Adreça IP del Node Mestre: A la consola d'EMR, seleccioneu el vostre clúster i aneu a la pestanya "Summary" per obtenir l'adreça IP del node mestre.
2. Connectar-se via SSH:

   ssh -i /path/to/your-key-pair.pem hadoop@<master-node-public-dns>
   

Abans d'executar una aplicació Spark, heu de carregar les dades d'entrada a un bucket S3. Podeu utilitzar la consola d'AWS o la línia de comandes d'AWS CLI:

1. Crear un Script Spark: Creeu un script Spark (per exemple, wordcount.py) i carregueu-lo al node mestre.
2. Executar l'Script:

   spark-submit --deploy-mode cluster s3://your-bucket-name/scripts/wordcount.py s3://your-bucket-name/data/input.txt s3://your-bucket-name/data/output/
   

Podeu utilitzar la consola d'EMR per monitoritzar l'estat del vostre clúster i les aplicacions Spark. També podeu accedir a la interfície web de Spark per obtenir més detalls sobre les tasques i els treballs.

Podeu afegir o eliminar nodes del vostre clúster EMR segons les necessitats de la vostra càrrega de treball. A la consola d'EMR, seleccioneu el vostre clúster i utilitzeu l'opció "Resize" per ajustar el nombre de nodes.

Quan ja no necessiteu el clúster, és important parar-lo per evitar costos innecessaris. A la consola d'EMR, seleccioneu el vostre clúster i feu clic a "Terminate".

1. Creeu un bucket S3 per emmagatzemar les dades d'entrada i sortida.
2. Configureu un clúster EMR amb Spark.
3. Carregueu un fitxer de text a S3.
4. Creeu un script Spark per comptar les paraules en el fitxer de text.
5. Envieu l'script Spark al clúster EMR i executeu-lo.
6. Verifiqueu els resultats a S3.

1. Crear un bucket S3:

   aws s3 mb s3://my-spark-bucket
   

2. Configurar un clúster EMR seguint els passos descrits anteriorment.
3. Carregar un fitxer de text a S3:

   aws s3 cp localfile.txt s3://my-spark-bucket/input/
   

4. Crear un script Spark (wordcount.py):

   from pyspark import SparkContext
   
   sc = SparkContext("local", "Word Count")
   text_file = sc.textFile("s3://my-spark-bucket/input/localfile.txt")
   counts = text_file.flatMap(lambda line: line.split(" ")) 
                        .map(lambda word: (word, 1)) 
                        .reduceByKey(lambda a, b: a + b)
   counts.saveAsTextFile("s3://my-spark-bucket/output/")
   

5. Enviar l'script Spark al clúster EMR:

   spark-submit --deploy-mode cluster s3://my-spark-bucket/scripts/wordcount.py s3://my-spark-bucket/input/localfile.txt s3://my-spark-bucket/output/
   

6. Verificar els resultats a S3:

   aws s3 ls s3://my-spark-bucket/output/
   

En aquest tema, hem après com configurar i executar Apache Spark a AWS utilitzant Amazon EMR. Hem cobert els conceptes bàsics d'AWS, la configuració d'un clúster EMR, l'execució d'aplicacions Spark i la gestió del clúster. Amb aquests coneixements, esteu preparats per aprofitar la potència d'AWS per executar aplicacions Spark a gran escala.