En aquest tema, aprendrem com carregar dades a BigQuery des de diferents fonts. BigQuery ofereix diverses opcions per carregar dades, incloent fitxers locals, Google Cloud Storage, Google Drive, i altres fonts de dades. A més, veurem com preparar les dades abans de carregar-les i com gestionar els errors que puguin sorgir durant el procés de càrrega.

• Comprendre les diferents opcions per carregar dades a BigQuery.
• Aprendre a carregar dades des de fitxers locals i Google Cloud Storage.
• Conèixer les millors pràctiques per preparar les dades abans de carregar-les.
• Gestionar errors comuns durant el procés de càrrega.

BigQuery permet carregar dades des de diverses fonts. Les opcions més comunes són:

1. Fitxers locals: Carregar dades des del teu ordinador.
2. Google Cloud Storage (GCS): Carregar dades des d'un bucket de GCS.
3. Google Drive: Carregar dades des d'un document de Google Drive.
4. Altres fonts: Carregar dades des de fonts com Google Sheets, bases de dades externes, etc.

Abans de carregar el fitxer, assegura't que estigui en un format compatible amb BigQuery. Els formats més comuns són CSV, JSON, Avro, Parquet, i ORC.

1. A la consola de BigQuery, selecciona el projecte i el conjunt de dades on vols carregar les dades.
2. Fes clic a "Create table" (Crear taula).
3. A la secció "Source", selecciona "Upload" (Carregar).
4. Fes clic a "Browse" (Navegar) i selecciona el fitxer local que vols carregar.
5. A la secció "Destination", especifica el nom de la taula on es carregaran les dades.
6. A la secció "Schema", pots definir l'esquema manualment o permetre que BigQuery l'infereixi automàticament.
7. Fes clic a "Create table" (Crear taula) per iniciar la càrrega.

També pots utilitzar la línia de comandes de gcloud per carregar dades des de fitxers locals:

Assegura't que el fitxer estigui en un format compatible i puja'l a un bucket de Google Cloud Storage.

1. A la consola de BigQuery, selecciona el projecte i el conjunt de dades on vols carregar les dades.
2. Fes clic a "Create table" (Crear taula).
3. A la secció "Source", selecciona "Google Cloud Storage".
4. Introdueix el camí del fitxer al bucket de GCS (per exemple, gs://mybucket/myfile.csv).
5. A la secció "Destination", especifica el nom de la taula on es carregaran les dades.
6. A la secció "Schema", pots definir l'esquema manualment o permetre que BigQuery l'infereixi automàticament.
7. Fes clic a "Create table" (Crear taula) per iniciar la càrrega.

També pots utilitzar la línia de comandes de gcloud per carregar dades des de GCS:

• Neteja de dades: Assegura't que les dades no continguin valors nuls o errors que puguin interrompre el procés de càrrega.
• Esquema: Defineix un esquema clar per a les teves dades, especificant els tipus de dades correctes per a cada columna.
• Particionament: Si treballes amb grans volums de dades, considera particionar les dades per millorar el rendiment de les consultes.

Si el fitxer no està en el format correcte, BigQuery pot generar errors durant la càrrega. Assegura't que el fitxer estigui en un dels formats compatibles (CSV, JSON, Avro, Parquet, ORC).

Si l'esquema del fitxer no coincideix amb l'esquema de la taula, es produirà un error. Revisa l'esquema i assegura't que les columnes i els tipus de dades coincideixin.

Assegura't que tens els permisos necessaris per accedir al bucket de GCS o al fitxer de Google Drive. També necessites permisos per crear taules i carregar dades a BigQuery.

1. Crea un bucket a Google Cloud Storage i puja un fitxer CSV amb dades de mostra.
2. Utilitza la consola de BigQuery per carregar el fitxer CSV a una nova taula.
3. Defineix l'esquema manualment durant el procés de càrrega.
4. Executa una consulta SQL bàsica per verificar que les dades s'han carregat correctament.

1. Crea un bucket a GCS i puja el fitxer sample.csv.
2. A la consola de BigQuery, selecciona el projecte i el conjunt de dades.
3. Fes clic a "Create table" (Crear taula).
4. A la secció "Source", selecciona "Google Cloud Storage" i introdueix el camí gs://your-bucket/sample.csv.
5. A la secció "Destination", especifica el nom de la taula mydataset.sample_table.
6. A la secció "Schema", defineix l'esquema manualment.
7. Fes clic a "Create table" (Crear taula).
8. Executa la consulta següent per verificar les dades:

En aquest tema, hem après com carregar dades a BigQuery des de diferents fonts, incloent fitxers locals i Google Cloud Storage. Hem vist com preparar les dades abans de carregar-les i com gestionar errors comuns durant el procés de càrrega. A més, hem realitzat un exercici pràctic per reforçar els conceptes apresos. En el proper tema, explorarem com exportar dades de BigQuery.