El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
HOME Els meus cursos Finalitzats
◄ Anterior
◄

GraphX

Següent ►
►

Introducció a GraphX

GraphX és una API de Spark per al processament de gràfics i la computació paral·lela de gràfics. Permet als usuaris expressar algoritmes de gràfics utilitzant una combinació de primitives de gràfics i operacions de dades paral·leles. GraphX integra completament el processament de gràfics amb Spark, permetent l'ús de les capacitats de Spark per a la manipulació de dades i la computació distribuïda.

Objectius d'Aprenentatge

  • Comprendre què és GraphX i per a què s'utilitza.
  • Aprendre a crear i manipular gràfics utilitzant GraphX.
  • Implementar algunes operacions bàsiques de gràfics.
  • Aplicar algorismes de gràfics comuns com PageRank.

Què és GraphX?

GraphX és una biblioteca per al processament de gràfics en Spark. Proporciona una API per a la creació, manipulació i computació de gràfics. Un gràfic en GraphX està format per vèrtexs (nodes) i arestes (connexions entre nodes).

Característiques Clau de GraphX

  • Integració amb Spark: Utilitza les capacitats de Spark per a la computació distribuïda.
  • API de Gràfics: Proporciona primitives per a la creació i manipulació de gràfics.
  • Algorismes de Gràfics: Inclou algorismes comuns com PageRank, Connected Components, etc.

Creació d'un Gràfic

Exemple de Codi: Creació d'un Gràfic

import org.apache.spark.graphx._
import org.apache.spark.rdd.RDD

// Creació d'un RDD de vèrtexs
val vertexArray = Array(
  (1L, ("Alice", 28)),
  (2L, ("Bob", 27)),
  (3L, ("Charlie", 65)),
  (4L, ("David", 42)),
  (5L, ("Ed", 55))
)
val vertexRDD: RDD[(Long, (String, Int))] = sc.parallelize(vertexArray)

// Creació d'un RDD d'arestes
val edgeArray = Array(
  Edge(1L, 2L, 7),
  Edge(2L, 3L, 4),
  Edge(3L, 4L, 1),
  Edge(4L, 5L, 2),
  Edge(5L, 1L, 3)
)
val edgeRDD: RDD[Edge[Int]] = sc.parallelize(edgeArray)

// Creació del gràfic
val graph: Graph[(String, Int), Int] = Graph(vertexRDD, edgeRDD)

// Mostra informació del gràfic
graph.vertices.collect.foreach { case (id, (name, age)) =>
  println(s"Vertex $id is $name who is $age years old")
}
graph.edges.collect.foreach { case Edge(src, dst, prop) =>
  println(s"Edge from $src to $dst with property $prop")
}

Explicació del Codi

  1. Creació dels Vèrtexs: Es crea un RDD de tuples on cada tupla representa un vèrtex amb un identificador únic i un parell de valors (nom i edat).
  2. Creació de les Arestes: Es crea un RDD d'arestes on cada aresta connecta dos vèrtexs i té una propietat associada (en aquest cas, un enter).
  3. Creació del Gràfic: Es crea un objecte Graph utilitzant els RDD de vèrtexs i arestes.
  4. Mostra d'Informació: Es mostren els vèrtexs i les arestes del gràfic.

Operacions Bàsiques amb GraphX

Transformacions de Gràfics

GraphX proporciona diverses operacions per transformar gràfics. Algunes de les operacions més comunes són:

  • mapVertices: Aplica una funció a cada vèrtex del gràfic.
  • mapEdges: Aplica una funció a cada aresta del gràfic.
  • subgraph: Crea un subgràfic basat en una condició.

Exemple de Codi: Transformacions de Gràfics

// Incrementar l'edat de cada vèrtex en 1
val newGraph = graph.mapVertices { case (id, (name, age)) => (name, age + 1) }

// Filtrar arestes amb propietat major que 3
val subGraph = graph.subgraph(epred = e => e.attr > 3)

// Mostra informació del nou gràfic
newGraph.vertices.collect.foreach { case (id, (name, age)) =>
  println(s"Vertex $id is $name who is $age years old")
}
subGraph.edges.collect.foreach { case Edge(src, dst, prop) =>
  println(s"Edge from $src to $dst with property $prop")
}

Explicació del Codi

  1. mapVertices: Incrementa l'edat de cada vèrtex en 1.
  2. subgraph: Filtra les arestes amb una propietat major que 3.

Algorismes de Gràfics

GraphX inclou diversos algorismes de gràfics comuns. Un dels més coneguts és PageRank, que s'utilitza per mesurar la importància dels nodes en un gràfic.

Exemple de Codi: PageRank

// Executar l'algorisme PageRank
val ranks = graph.pageRank(0.0001).vertices

// Mostra els resultats de PageRank
ranks.collect.foreach { case (id, rank) =>
  println(s"Vertex $id has rank $rank")
}

Explicació del Codi

  1. pageRank: Executa l'algorisme PageRank amb un llindar de convergència de 0.0001.
  2. Mostra de Resultats: Mostra el rang de cada vèrtex.

Exercicis Pràctics

Exercici 1: Creació i Manipulació de Gràfics

  1. Crea un gràfic amb almenys 5 vèrtexs i 5 arestes.
  2. Aplica una transformació per incrementar una propietat dels vèrtexs.
  3. Filtra les arestes basant-te en una condició.

Solució de l'Exercici 1

// Creació d'un RDD de vèrtexs
val vertexArray = Array(
  (1L, ("Alice", 28)),
  (2L, ("Bob", 27)),
  (3L, ("Charlie", 65)),
  (4L, ("David", 42)),
  (5L, ("Ed", 55))
)
val vertexRDD: RDD[(Long, (String, Int))] = sc.parallelize(vertexArray)

// Creació d'un RDD d'arestes
val edgeArray = Array(
  Edge(1L, 2L, 7),
  Edge(2L, 3L, 4),
  Edge(3L, 4L, 1),
  Edge(4L, 5L, 2),
  Edge(5L, 1L, 3)
)
val edgeRDD: RDD[Edge[Int]] = sc.parallelize(edgeArray)

// Creació del gràfic
val graph: Graph[(String, Int), Int] = Graph(vertexRDD, edgeRDD)

// Incrementar l'edat de cada vèrtex en 1
val newGraph = graph.mapVertices { case (id, (name, age)) => (name, age + 1) }

// Filtrar arestes amb propietat major que 3
val subGraph = graph.subgraph(epred = e => e.attr > 3)

// Mostra informació del nou gràfic
newGraph.vertices.collect.foreach { case (id, (name, age)) =>
  println(s"Vertex $id is $name who is $age years old")
}
subGraph.edges.collect.foreach { case Edge(src, dst, prop) =>
  println(s"Edge from $src to $dst with property $prop")
}

Conclusió

En aquesta secció, hem après què és GraphX i com es pot utilitzar per crear i manipular gràfics en Spark. Hem vist exemples pràctics de com crear un gràfic, aplicar transformacions i executar algorismes de gràfics com PageRank. A més, hem proporcionat exercicis pràctics per reforçar els conceptes apresos. Amb aquests coneixements, estàs preparat per explorar més a fons les capacitats de GraphX i aplicar-les a problemes del món real.

◄ Anterior
◄
Següent ►
►
El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
© Copyright 2024. Tots els drets reservats