En aquest tema, aprendrem com gestionar conjunts de dades i taules a BigQuery. Aquesta és una habilitat essencial per a qualsevol usuari de BigQuery, ja que una gestió eficient de les dades és clau per a l'optimització del rendiment i la seguretat de les dades.

Objectius d'aprenentatge

  • Comprendre la creació i l'estructura dels conjunts de dades i taules a BigQuery.
  • Aprendre a modificar i eliminar conjunts de dades i taules.
  • Gestionar permisos i accessos als conjunts de dades i taules.
  • Utilitzar etiquetes i descripcions per organitzar i documentar les dades.

  1. Creació de conjunts de dades i taules

Creació d'un conjunt de dades

Un conjunt de dades és una col·lecció de taules a BigQuery. Per crear un conjunt de dades, segueix aquests passos:

  1. A la consola de BigQuery, selecciona el teu projecte.
  2. Fes clic a "Crea conjunt de dades".
  3. Omple els camps necessaris:
    • ID del conjunt de dades: Un identificador únic per al conjunt de dades.
    • Ubicació de les dades: La regió on es guardaran les dades.
    • Data d'expiració (opcional): El temps després del qual el conjunt de dades s'eliminarà automàticament.
    • Etiquetes (opcional): Clau-valor per organitzar i cercar conjunts de dades.

Creació d'una taula

Un cop creat el conjunt de dades, pots crear taules dins d'aquest conjunt:

  1. Selecciona el conjunt de dades on vols crear la taula.
  2. Fes clic a "Crea taula".
  3. Omple els camps necessaris:
    • Font de dades: Pots crear una taula buida o carregar dades des d'un fitxer.
    • Nom de la taula: Un identificador únic per a la taula dins del conjunt de dades.
    • Esquema: Defineix les columnes i els seus tipus de dades.

Exemple de creació d'una taula amb SQL

CREATE TABLE `project_id.dataset_id.table_id` (
  id INT64,
  name STRING,
  age INT64,
  email STRING
);

  1. Modificació i eliminació de conjunts de dades i taules

Modificació d'una taula

Pots afegir, eliminar o modificar columnes d'una taula existent. Per exemple, per afegir una nova columna:

ALTER TABLE `project_id.dataset_id.table_id`
ADD COLUMN address STRING;

Eliminació d'una taula

Per eliminar una taula, pots utilitzar la consola de BigQuery o una comanda SQL:

DROP TABLE `project_id.dataset_id.table_id`;

Eliminació d'un conjunt de dades

Per eliminar un conjunt de dades, primer has d'eliminar totes les taules dins d'aquest conjunt. Després, pots eliminar el conjunt de dades:

DROP SCHEMA `project_id.dataset_id` CASCADE;

  1. Gestió de permisos i accessos

Assignació de permisos

BigQuery utilitza el model de control d'accés basat en rols (RBAC). Pots assignar rols a usuaris o grups per controlar l'accés als conjunts de dades i taules.

Exemple d'assignació de permisos amb la consola

  1. Selecciona el conjunt de dades.
  2. Fes clic a "Compartir conjunt de dades".
  3. Afegeix els usuaris o grups i assigna'ls un rol (per exemple, "Lectura", "Escriptura", "Propietari").

Assignació de permisos amb SQL

GRANT `roles/bigquery.dataViewer` ON `project_id.dataset_id` TO 'user:[email protected]';

  1. Etiquetes i descripcions

Etiquetes

Les etiquetes són clau-valor que pots utilitzar per organitzar i cercar conjunts de dades i taules.

Exemple d'assignació d'etiquetes

bq update --set_labels=env=prod,team=analytics project_id:dataset_id

Descripcions

Les descripcions ajuden a documentar la finalitat i el contingut dels conjunts de dades i taules.

Exemple d'assignació de descripcions

bq update --description "Aquesta taula conté dades de clients" project_id:dataset_id.table_id

Exercicis pràctics

Exercici 1: Creació d'un conjunt de dades i una taula

  1. Crea un conjunt de dades anomenat sales_data.
  2. Dins d'aquest conjunt de dades, crea una taula anomenada transactions amb les següents columnes:
    • transaction_id (INT64)
    • customer_id (INT64)
    • amount (FLOAT64)
    • transaction_date (DATE)

Solució

CREATE SCHEMA `project_id.sales_data`;

CREATE TABLE `project_id.sales_data.transactions` (
  transaction_id INT64,
  customer_id INT64,
  amount FLOAT64,
  transaction_date DATE
);

Exercici 2: Modificació d'una taula

  1. Afegeix una nova columna anomenada product_id (INT64) a la taula transactions.

Solució

ALTER TABLE `project_id.sales_data.transactions`
ADD COLUMN product_id INT64;

Exercici 3: Assignació de permisos

  1. Assigna el rol de "Lectura" a l'usuari [email protected] per al conjunt de dades sales_data.

Solució

GRANT `roles/bigquery.dataViewer` ON `project_id.sales_data` TO 'user:[email protected]';

Conclusió

En aquesta secció, hem après com gestionar conjunts de dades i taules a BigQuery, incloent la creació, modificació, eliminació, gestió de permisos i l'ús d'etiquetes i descripcions. Aquestes habilitats són fonamentals per mantenir les dades organitzades, segures i fàcilment accessibles. En el proper mòdul, explorarem tècniques d'optimització del rendiment a BigQuery.

Curs de BigQuery

Mòdul 1: Introducció a BigQuery

Mòdul 2: SQL bàsic a BigQuery

Mòdul 3: SQL intermedi a BigQuery

Mòdul 4: SQL avançat a BigQuery

Mòdul 5: Gestió de dades a BigQuery

Mòdul 6: Optimització del rendiment de BigQuery

Mòdul 7: Seguretat i compliment de BigQuery

Mòdul 8: Integració i automatització de BigQuery

Mòdul 9: Aprenentatge automàtic a BigQuery (BQML)

Mòdul 10: Casos d'ús de BigQuery en el món real

© Copyright 2024. Tots els drets reservats