En aquest tema, aprendrem com exportar dades des de BigQuery a diferents formats i ubicacions. Exportar dades és una tasca essencial per compartir resultats, fer còpies de seguretat o integrar dades amb altres sistemes.

• Comprendre els diferents formats d'exportació disponibles a BigQuery.
• Aprendre a exportar dades a Google Cloud Storage.
• Conèixer les millors pràctiques per a l'exportació de dades.

BigQuery permet exportar dades en diversos formats. Els formats més comuns són:

• CSV (Comma-Separated Values)
• JSON (JavaScript Object Notation)
• Avro
• Parquet

Abans d'exportar dades, necessitem un bucket a Google Cloud Storage (GCS) on emmagatzemar els fitxers exportats.

1. Crear un bucket a GCS:
   • Aneu a la consola de Google Cloud.
   • Navegueu a "Storage" i feu clic a "Create bucket".
   • Seguiu les instruccions per crear un bucket nou.

Exemple pràctic: Exportar dades a CSV

1. Obrir la consola de BigQuery:

   • Aneu a la consola de Google Cloud i seleccioneu BigQuery.

2. Executar una consulta:

   • Executeu la consulta SQL que desitgeu exportar. Per exemple:

     SELECT name, age, email
     FROM `project_id.dataset_id.table_id`
     WHERE age > 30;
     

3. Exportar els resultats:

   • Després d'executar la consulta, feu clic a "Export" a la part superior dreta dels resultats.
   • Seleccioneu "Export to Google Cloud Storage".
   • Trieu el bucket i el nom del fitxer (per exemple, gs://my-bucket/exported_data.csv).
   • Seleccioneu el format de fitxer (CSV, JSON, Avro, Parquet).
   • Feu clic a "Export".

Exemple pràctic: Exportar dades a JSON

1. Executar una consulta:

   • Executeu la consulta SQL que desitgeu exportar. Per exemple:

     SELECT name, age, email
     FROM `project_id.dataset_id.table_id`
     WHERE age > 30;
     

2. Exportar els resultats:

   • Després d'executar la consulta, feu clic a "Export" a la part superior dreta dels resultats.
   • Seleccioneu "Export to Google Cloud Storage".
   • Trieu el bucket i el nom del fitxer (per exemple, gs://my-bucket/exported_data.json).
   • Seleccioneu el format de fitxer (CSV, JSON, Avro, Parquet).
   • Feu clic a "Export".

També podeu utilitzar la línia de comandes de gcloud per exportar dades. Aquí teniu un exemple per exportar dades a un fitxer CSV:

• Dividir fitxers grans: Si exporteu grans volums de dades, considereu dividir els fitxers per evitar problemes de rendiment.
• Utilitzar formats adequats: Trieu el format d'exportació que millor s'adapti a les vostres necessitats. Per exemple, utilitzeu Parquet per a grans volums de dades que necessiten ser processats ràpidament.
• Automatitzar exportacions: Utilitzeu eines com Cloud Scheduler i Cloud Functions per automatitzar les exportacions periòdiques.

1. Creeu una consulta SQL que seleccioni dades d'una taula de BigQuery.
2. Exporteu els resultats de la consulta a un fitxer CSV a Google Cloud Storage.

Solució

1. Consulta SQL:

   SELECT name, age, email
   FROM `project_id.dataset_id.table_id`
   WHERE age > 30;
   

2. Exportar a CSV:

   • Després d'executar la consulta, feu clic a "Export".
   • Seleccioneu "Export to Google Cloud Storage".
   • Trieu el bucket i el nom del fitxer (per exemple, gs://my-bucket/exported_data.csv).
   • Seleccioneu el format de fitxer (CSV).
   • Feu clic a "Export".

1. Utilitzeu la línia de comandes de gcloud per exportar dades a un fitxer JSON.

Solució

En aquest tema, hem après com exportar dades des de BigQuery a diferents formats i ubicacions, incloent Google Cloud Storage. Hem vist exemples pràctics d'exportació a CSV i JSON, i hem conegut les millors pràctiques per a l'exportació de dades. Aquestes habilitats són essencials per gestionar i compartir dades de manera eficient.