El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
HOME Els meus cursos Finalitzats
◄ Anterior
◄

Configuració del Projecte

Següent ►
►

En aquesta secció, configurarem l'entorn necessari per al projecte final del curs d'Apache Spark. Aquest projecte integrarà tots els conceptes apresos al llarg del curs i proporcionarà una experiència pràctica completa. Segueix els passos següents per assegurar-te que tens tot el necessari per començar.

  1. Definició del Projecte

Abans de començar amb la configuració tècnica, és important tenir una visió clara del projecte que realitzarem. El projecte consistirà en processar un conjunt de dades gran, aplicar transformacions i accions, i finalment, realitzar una anàlisi avançada utilitzant Spark MLlib.

Objectius del Projecte

  • Carregar i processar dades des d'una font externa.
  • Aplicar transformacions i accions sobre les dades utilitzant RDDs i DataFrames.
  • Realitzar anàlisis avançades amb Spark SQL.
  • Implementar un model d'aprenentatge automàtic amb Spark MLlib.
  • Optimitzar el rendiment de l'aplicació Spark.

  1. Requisits del Sistema

Assegura't que el teu sistema compleix amb els següents requisits per executar Apache Spark de manera eficient:

  • Sistema Operatiu: Windows, macOS o Linux.
  • Memòria RAM: Almenys 8 GB (recomanats 16 GB o més).
  • Espai en Disc: Almenys 20 GB d'espai lliure.
  • Java: JDK 8 o superior.
  • Scala: Scala 2.12 o superior (opcional, si es treballa amb Scala).
  • Python: Python 3.6 o superior (opcional, si es treballa amb Python).

  1. Instal·lació de Spark

Pas 1: Descarregar Apache Spark

Descarrega la versió més recent d'Apache Spark des del lloc oficial. Selecciona la versió precompilada per a Hadoop 2.7 o superior.

Pas 2: Descomprimir l'Arxiu

Descomprimeix l'arxiu descarregat en una ubicació adequada al teu sistema. Per exemple, a Linux o macOS, pots utilitzar la següent comanda:

tar -xzf spark-3.1.2-bin-hadoop2.7.tgz

Pas 3: Configurar les Variables d'Entorn

Configura les variables d'entorn per a Spark i Hadoop. Afegeix les següents línies al teu fitxer .bashrc o .zshrc (per a Linux/macOS) o al fitxer de variables d'entorn (per a Windows):

export SPARK_HOME=/path/to/spark-3.1.2-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

Pas 4: Verificar la Instal·lació

Verifica que Spark s'ha instal·lat correctament executant la següent comanda:

spark-shell

Si tot està configurat correctament, hauries de veure el shell interactiu de Spark.

  1. Configuració de l'Entorn de Desenvolupament

Pas 1: Instal·lar un IDE

Recomanem utilitzar un IDE com IntelliJ IDEA (per a Scala) o PyCharm (per a Python). Aquests IDEs proporcionen eines avançades per al desenvolupament amb Spark.

Pas 2: Crear un Nou Projecte

Crea un nou projecte en el teu IDE preferit. Assegura't de configurar el projecte per utilitzar el JDK i Scala o Python, segons el llenguatge que hagis triat.

Pas 3: Afegir les Dependències de Spark

Afegeix les dependències de Spark al teu projecte. Per a Scala, utilitza el fitxer build.sbt:

libraryDependencies += "org.apache.spark" %% "spark-core" % "3.1.2"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "3.1.2"
libraryDependencies += "org.apache.spark" %% "spark-mllib" % "3.1.2"

Per a Python, crea un entorn virtual i instal·la les dependències necessàries:

pip install pyspark

  1. Configuració del Clúster Spark (Opcional)

Si vols executar el projecte en un clúster Spark, segueix aquests passos addicionals:

Pas 1: Configurar el Clúster

Configura un clúster Spark utilitzant eines com Hadoop YARN, Mesos o Kubernetes. Consulta la documentació oficial de Spark per a instruccions detallades.

Pas 2: Desplegar l'Aplicació

Desplega la teva aplicació Spark al clúster utilitzant el següent comandament:

spark-submit --master yarn --deploy-mode cluster --class com.example.YourApp /path/to/your-app.jar

  1. Prova de la Configuració

Abans de començar amb la implementació del projecte, realitza una prova ràpida per assegurar-te que tot està configurat correctament. Executa un script Spark senzill per verificar que pots carregar dades i realitzar operacions bàsiques.

Exemple de Script de Prova

from pyspark.sql import SparkSession

# Crear una sessió de Spark
spark = SparkSession.builder.appName("Test").getOrCreate()

# Carregar un DataFrame de prova
data = [("Alice", 34), ("Bob", 45), ("Cathy", 29)]
columns = ["Name", "Age"]
df = spark.createDataFrame(data, columns)

# Mostrar el DataFrame
df.show()

# Tancar la sessió de Spark
spark.stop()

Si el script s'executa correctament i mostra el DataFrame, la configuració està completa i pots procedir amb la implementació del projecte.

Conclusió

Ara que has configurat l'entorn per al projecte final, estàs preparat per començar amb la implementació. En la següent secció, ens endinsarem en els detalls de la implementació del projecte, aplicant tots els conceptes apresos al llarg del curs. Assegura't de tenir tot el necessari configurat abans de continuar.

◄ Anterior
◄
Següent ►
►
El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
© Copyright 2024. Tots els drets reservats