En aquest tema, explorarem les millors pràctiques per assegurar que les teves dades a BigQuery compleixin amb les normatives i regulacions aplicables. També veurem com implementar aquestes pràctiques per garantir la seguretat i la privacitat de les dades.
Objectius d'aprenentatge
Al final d'aquest tema, hauràs de ser capaç de:
- Comprendre la importància del compliment normatiu en la gestió de dades.
- Implementar millors pràctiques per assegurar el compliment a BigQuery.
- Utilitzar eines i funcionalitats de BigQuery per monitorar i auditar el compliment.
- Importància del compliment normatiu
Què és el compliment normatiu?
El compliment normatiu es refereix a l'adhesió a les lleis, regulacions, normes i estàndards aplicables a la gestió de dades. Això inclou, però no es limita a:
- Regulacions de privacitat de dades: com el GDPR (Reglament General de Protecció de Dades) a Europa o el CCPA (Llei de Privacitat del Consumidor de Califòrnia) als Estats Units.
- Normes de seguretat de dades: com la ISO/IEC 27001.
- Requisits sectorials: com HIPAA (Llei de Portabilitat i Responsabilitat d'Assegurança de Salut) per a dades de salut als Estats Units.
Per què és important?
- Evitar sancions legals: El no compliment pot resultar en multes significatives i altres sancions legals.
- Protegir la reputació: Les violacions de dades poden danyar la reputació de l'empresa.
- Assegurar la confiança dels clients: Els clients volen saber que les seves dades estan segures i es gestionen de manera responsable.
- Millors pràctiques per assegurar el compliment a BigQuery
Control d'accés i permisos
- Principi del menor privilegi: Assegura't que els usuaris només tinguin els permisos necessaris per realitzar les seves tasques.
- Ús de rols predefinits: BigQuery ofereix rols predefinits que poden ajudar a gestionar els permisos de manera eficient.
- Revisió periòdica dels permisos: Realitza auditories regulars per assegurar-te que els permisos estan actualitzats i són adequats.
Xifrat de dades
- Xifrat en repòs: BigQuery xifra automàticament les dades en repòs.
- Xifrat en trànsit: Assegura't que les dades estiguin xifrades mentre es transfereixen entre el client i BigQuery.
- Claus de xifrat gestionades pel client (CMEK): Considera utilitzar CMEK per tenir un control addicional sobre les claus de xifrat.
Auditoria i monitoratge
- Registres d'auditoria: Utilitza els registres d'auditoria de Google Cloud per monitorar l'accés i les activitats a BigQuery.
- Alertes i notificacions: Configura alertes per detectar activitats sospitoses o no autoritzades.
- Revisió regular dels registres: Realitza revisions periòdiques dels registres d'auditoria per identificar i respondre a possibles problemes de seguretat.
Compliment de normatives específiques
- GDPR: Assegura't que les dades personals es gestionen d'acord amb els requisits del GDPR, incloent el dret a l'oblit i la portabilitat de les dades.
- HIPAA: Si treballes amb dades de salut, assegura't que compleixes amb els requisits de HIPAA, incloent la protecció de la informació de salut protegida (PHI).
- Eines i funcionalitats de BigQuery per al compliment
BigQuery Data Catalog
- Classificació de dades: Utilitza el Data Catalog per classificar i etiquetar les dades sensibles.
- Polítiques d'accés basades en etiquetes: Implementa polítiques d'accés basades en etiquetes per controlar l'accés a dades sensibles.
BigQuery Data Loss Prevention (DLP)
- Detecció de dades sensibles: Utilitza DLP per identificar i protegir dades sensibles com números de targetes de crèdit, números de seguretat social, etc.
- Redacció de dades: Implementa tècniques de redacció per ocultar dades sensibles en resultats de consultes.
BigQuery Audit Logs
- Monitoratge d'activitats: Utilitza els registres d'auditoria per monitorar les activitats dels usuaris i detectar accessos no autoritzats.
- Anàlisi de registres: Analitza els registres d'auditoria per identificar patrons sospitosos o activitats anòmales.
Exercici pràctic
Exercici 1: Configuració de permisos i auditories
- Configura un rol personalitzat a BigQuery que només permeti l'accés de lectura a un conjunt de dades específic.
- Assigna aquest rol a un usuari i verifica que només pot accedir a les dades especificades.
- Configura una alerta per detectar qualsevol intent d'accés no autoritzat a aquest conjunt de dades.
Solució
-- Crear un rol personalitzat amb accés de lectura gcloud iam roles create customViewerRole --project=PROJECT_ID \ --title="Custom Viewer Role" \ --permissions=bigquery.datasets.get,bigquery.tables.get,bigquery.tables.list,bigquery.tables.getData -- Assignar el rol a un usuari gcloud projects add-iam-policy-binding PROJECT_ID \ --member=user:USER_EMAIL \ --role=projects/PROJECT_ID/roles/customViewerRole -- Configurar una alerta (exemple amb Stackdriver) gcloud alpha monitoring policies create \ --display-name="Unauthorized Access Alert" \ --conditions="condition=Unauthorized Access,filter=resource.type=\"bigquery_resource\" AND protoPayload.methodName=\"google.cloud.bigquery.v2.TableService.GetTable\" AND NOT protoPayload.authenticationInfo.principalEmail=\"AUTHORIZED_USER_EMAIL\"" \ --notification-channels="EMAIL_NOTIFICATION_CHANNEL"
Conclusió
En aquesta secció, hem après la importància del compliment normatiu i com implementar millors pràctiques per assegurar el compliment a BigQuery. Hem explorat diverses eines i funcionalitats que BigQuery ofereix per ajudar a monitorar i auditar el compliment. A més, hem realitzat un exercici pràctic per aplicar aquests conceptes. Amb aquests coneixements, estàs preparat per gestionar les teves dades de manera segura i complir amb les normatives aplicables.
Curs de BigQuery
Mòdul 1: Introducció a BigQuery
- Què és BigQuery?
- Configurar el teu entorn de BigQuery
- Comprendre l'arquitectura de BigQuery
- Visió general de la consola de BigQuery
Mòdul 2: SQL bàsic a BigQuery
Mòdul 3: SQL intermedi a BigQuery
Mòdul 4: SQL avançat a BigQuery
- Unions avançades
- Camps niats i repetits
- Funcions definides per l'usuari (UDFs)
- Particionament i agrupament
Mòdul 5: Gestió de dades a BigQuery
- Carregar dades a BigQuery
- Exportar dades de BigQuery
- Transformació i neteja de dades
- Gestió de conjunts de dades i taules
Mòdul 6: Optimització del rendiment de BigQuery
- Tècniques d'optimització de consultes
- Comprendre els plans d'execució de consultes
- Ús de vistes materialitzades
- Optimització de l'emmagatzematge
Mòdul 7: Seguretat i compliment de BigQuery
Mòdul 8: Integració i automatització de BigQuery
- Integració amb serveis de Google Cloud
- Ús de BigQuery amb Dataflow
- Automatització de fluxos de treball amb Cloud Functions
- Programació de consultes amb Cloud Scheduler
Mòdul 9: Aprenentatge automàtic a BigQuery (BQML)
- Introducció a BigQuery ML
- Creació i entrenament de models
- Avaluació i predicció amb models
- Funcions avançades de BQML