En aquest tema, aprendrem com gestionar conjunts de dades i taules a BigQuery. Aquesta és una habilitat essencial per a qualsevol usuari de BigQuery, ja que una gestió eficient de les dades és clau per a l'optimització del rendiment i la seguretat de les dades.
Objectius d'aprenentatge
- Comprendre la creació i l'estructura dels conjunts de dades i taules a BigQuery.
- Aprendre a modificar i eliminar conjunts de dades i taules.
- Gestionar permisos i accessos als conjunts de dades i taules.
- Utilitzar etiquetes i descripcions per organitzar i documentar les dades.
- Creació de conjunts de dades i taules
Creació d'un conjunt de dades
Un conjunt de dades és una col·lecció de taules a BigQuery. Per crear un conjunt de dades, segueix aquests passos:
- A la consola de BigQuery, selecciona el teu projecte.
- Fes clic a "Crea conjunt de dades".
- Omple els camps necessaris:
- ID del conjunt de dades: Un identificador únic per al conjunt de dades.
- Ubicació de les dades: La regió on es guardaran les dades.
- Data d'expiració (opcional): El temps després del qual el conjunt de dades s'eliminarà automàticament.
- Etiquetes (opcional): Clau-valor per organitzar i cercar conjunts de dades.
Creació d'una taula
Un cop creat el conjunt de dades, pots crear taules dins d'aquest conjunt:
- Selecciona el conjunt de dades on vols crear la taula.
- Fes clic a "Crea taula".
- Omple els camps necessaris:
- Font de dades: Pots crear una taula buida o carregar dades des d'un fitxer.
- Nom de la taula: Un identificador únic per a la taula dins del conjunt de dades.
- Esquema: Defineix les columnes i els seus tipus de dades.
Exemple de creació d'una taula amb SQL
- Modificació i eliminació de conjunts de dades i taules
Modificació d'una taula
Pots afegir, eliminar o modificar columnes d'una taula existent. Per exemple, per afegir una nova columna:
Eliminació d'una taula
Per eliminar una taula, pots utilitzar la consola de BigQuery o una comanda SQL:
Eliminació d'un conjunt de dades
Per eliminar un conjunt de dades, primer has d'eliminar totes les taules dins d'aquest conjunt. Després, pots eliminar el conjunt de dades:
- Gestió de permisos i accessos
Assignació de permisos
BigQuery utilitza el model de control d'accés basat en rols (RBAC). Pots assignar rols a usuaris o grups per controlar l'accés als conjunts de dades i taules.
Exemple d'assignació de permisos amb la consola
- Selecciona el conjunt de dades.
- Fes clic a "Compartir conjunt de dades".
- Afegeix els usuaris o grups i assigna'ls un rol (per exemple, "Lectura", "Escriptura", "Propietari").
Assignació de permisos amb SQL
GRANT `roles/bigquery.dataViewer` ON `project_id.dataset_id` TO 'user:[email protected]';
- Etiquetes i descripcions
Etiquetes
Les etiquetes són clau-valor que pots utilitzar per organitzar i cercar conjunts de dades i taules.
Exemple d'assignació d'etiquetes
Descripcions
Les descripcions ajuden a documentar la finalitat i el contingut dels conjunts de dades i taules.
Exemple d'assignació de descripcions
Exercicis pràctics
Exercici 1: Creació d'un conjunt de dades i una taula
- Crea un conjunt de dades anomenat
sales_data
. - Dins d'aquest conjunt de dades, crea una taula anomenada
transactions
amb les següents columnes:transaction_id
(INT64)customer_id
(INT64)amount
(FLOAT64)transaction_date
(DATE)
Solució
CREATE SCHEMA `project_id.sales_data`; CREATE TABLE `project_id.sales_data.transactions` ( transaction_id INT64, customer_id INT64, amount FLOAT64, transaction_date DATE );
Exercici 2: Modificació d'una taula
- Afegeix una nova columna anomenada
product_id
(INT64) a la taulatransactions
.
Solució
Exercici 3: Assignació de permisos
- Assigna el rol de "Lectura" a l'usuari
[email protected]
per al conjunt de dadessales_data
.
Solució
GRANT `roles/bigquery.dataViewer` ON `project_id.sales_data` TO 'user:[email protected]';
Conclusió
En aquesta secció, hem après com gestionar conjunts de dades i taules a BigQuery, incloent la creació, modificació, eliminació, gestió de permisos i l'ús d'etiquetes i descripcions. Aquestes habilitats són fonamentals per mantenir les dades organitzades, segures i fàcilment accessibles. En el proper mòdul, explorarem tècniques d'optimització del rendiment a BigQuery.
Curs de BigQuery
Mòdul 1: Introducció a BigQuery
- Què és BigQuery?
- Configurar el teu entorn de BigQuery
- Comprendre l'arquitectura de BigQuery
- Visió general de la consola de BigQuery
Mòdul 2: SQL bàsic a BigQuery
Mòdul 3: SQL intermedi a BigQuery
Mòdul 4: SQL avançat a BigQuery
- Unions avançades
- Camps niats i repetits
- Funcions definides per l'usuari (UDFs)
- Particionament i agrupament
Mòdul 5: Gestió de dades a BigQuery
- Carregar dades a BigQuery
- Exportar dades de BigQuery
- Transformació i neteja de dades
- Gestió de conjunts de dades i taules
Mòdul 6: Optimització del rendiment de BigQuery
- Tècniques d'optimització de consultes
- Comprendre els plans d'execució de consultes
- Ús de vistes materialitzades
- Optimització de l'emmagatzematge
Mòdul 7: Seguretat i compliment de BigQuery
Mòdul 8: Integració i automatització de BigQuery
- Integració amb serveis de Google Cloud
- Ús de BigQuery amb Dataflow
- Automatització de fluxos de treball amb Cloud Functions
- Programació de consultes amb Cloud Scheduler
Mòdul 9: Aprenentatge automàtic a BigQuery (BQML)
- Introducció a BigQuery ML
- Creació i entrenament de models
- Avaluació i predicció amb models
- Funcions avançades de BQML