En aquest tema, aprendrem com configurar i executar Apache Spark a Google Cloud Platform (GCP). Google Cloud ofereix diverses eines i serveis que faciliten la implementació i gestió de Spark, com ara Google Cloud Dataproc, un servei gestionat per executar clústers de Spark i Hadoop.

• Entendre els conceptes bàsics de Google Cloud Platform.
• Configurar un projecte a Google Cloud.
• Crear i gestionar clústers de Spark utilitzant Google Cloud Dataproc.
• Executar treballs de Spark en un clúster de Dataproc.

Google Cloud Platform és una suite de serveis de computació en núvol que s'executen en la mateixa infraestructura que Google utilitza internament per als seus productes d'usuari final, com ara Google Search i YouTube.

• Projectes: Un projecte és una entitat organitzativa dins de GCP que conté tots els recursos de Google Cloud.
• Clústers: Un clúster és un conjunt de màquines virtuals que treballen juntes per executar aplicacions distribuïdes com Spark.
• Google Cloud Dataproc: Un servei gestionat que facilita la creació, configuració i gestió de clústers de Spark i Hadoop.

Abans de crear un clúster de Dataproc, necessitem configurar un projecte a Google Cloud.

1. Crear un Compte de Google Cloud:

   • Registra't a Google Cloud.
   • Inicia sessió amb el teu compte de Google.

2. Crear un Nou Projecte:

   • A la consola de Google Cloud, fes clic a "Select a project" i després a "New Project".
   • Assigna un nom al projecte i fes clic a "Create".

3. Activar l'API de Dataproc:

   • A la consola de Google Cloud, ves a "APIs & Services" > "Library".
   • Cerca "Dataproc" i fes clic a "Enable".

4. Configurar la Facturació:

   • Assegura't que la facturació estigui configurada per al teu projecte. Això és necessari per utilitzar els serveis de Google Cloud.

Un cop el projecte està configurat, podem crear un clúster de Dataproc per executar Spark.

1. Accedir a Dataproc:

   • A la consola de Google Cloud, ves a "Dataproc" > "Clusters".

2. Crear un Nou Clúster:

   • Fes clic a "Create Cluster".
   • Assigna un nom al clúster.
   • Selecciona la regió i la zona on vols crear el clúster.
   • Configura les màquines virtuals (tipus de màquina, nombre de nodes, etc.).

3. Configurar les Opcions de Spark:

   • A la secció "Advanced options", pots configurar opcions específiques de Spark, com ara la versió de Spark, opcions de configuració, etc.

4. Crear el Clúster:

   • Fes clic a "Create" per crear el clúster. Aquest procés pot trigar uns minuts.

Un cop el clúster està creat, podem executar treballs de Spark.

1. Accedir a la Consola de Dataproc:

   • A la consola de Google Cloud, ves a "Dataproc" > "Jobs".

2. Crear un Nou Treball:

   • Fes clic a "Submit Job".
   • Selecciona el clúster on vols executar el treball.
   • Selecciona el tipus de treball (per exemple, Spark).
   • Proporciona els detalls del treball, com ara el camí al fitxer JAR o script de Python, arguments, etc.

3. Executar el Treball:

   • Fes clic a "Submit" per executar el treball. Pots veure l'estat del treball a la consola de Dataproc.

A continuació, es mostra un exemple d'un script de Python per a Spark que compta les paraules en un fitxer de text:

Crear un clúster de Dataproc i executar un treball de Spark que compti les paraules en un fitxer de text emmagatzemat a Google Cloud Storage.

1. Configura un projecte a Google Cloud.
2. Crea un clúster de Dataproc.
3. Carrega un fitxer de text a Google Cloud Storage.
4. Executa l'exemple de codi Spark proporcionat anteriorment.

Segueix els passos detallats en les seccions anteriors per completar l'exercici.

En aquest tema, hem après com configurar i executar Apache Spark a Google Cloud utilitzant Google Cloud Dataproc. Hem cobert des de la configuració del projecte fins a la creació de clústers i l'execució de treballs de Spark. Amb aquests coneixements, estàs preparat per aprofitar la potència de Google Cloud per a les teves aplicacions de Spark.