Tanquem el Capítol 29 amb un aspecte crucial quan una empresa acumula moltes dades: el govern de dades (data governance). Tenir un data lake (subcapítol 29.1) ple d'informació valuosa està molt bé, però planteja preguntes serioses: qui pot veure quines dades? Com protegeixes la informació sensible? Com controles l'accés de forma centralitzada quan tens dades de tota l'empresa? Per respondre a això, AWS ofereix Lake Formation: un servei per construir, assegurar i governar el teu data lake de forma centralitzada.

Un data lake reuneix moltes dades de tota l'empresa en un lloc (S3). Això és potent, però també perillós si no controles bé qui accedeix a què:

Sense un bon control d'accés:

• Qualsevol amb accés al llac podria veure dades sensibles que no li corresponen (un risc greu, recorda la privacitat i el compliment del Capítol 23).
• Gestionar els permisos «a mà» sobre milions d'arxius a S3 seria inviable i propens a errors.
• Seria difícil demostrar (a auditors, per normativa) que les dades estan ben protegides.

Necessites una forma centralitzada i fina de governar qui accedeix a quines dades. Això és Lake Formation.

AWS Lake Formation és un servei que facilita construir, assegurar i governar un data lake de forma centralitzada. La seva funció més destacada és el control d'accés fi i centralitzat a les dades: definir, des d'un sol lloc, qui pot accedir a quines dades (fins al nivell de taules i columnes concretes), de manera senzilla.

Analogia: Lake Formation és com el sistema de control d'accessos i seguretat d'una gran biblioteca o arxiu nacional. No n'hi ha prou amb tenir tots els documents guardats (això és el data lake); necessites controlar qui pot entrar a quina secció: el públic general accedeix a la sala comuna, els investigadors acreditats als arxius especials, i només personal autoritzat als documents confidencials. Lake Formation és aquest sistema que, des d'un punt central, decideix i vigila qui accedeix a cada part de les teves dades.

Ajuda a muntar el data lake de manera més senzilla: facilita portar dades, organitzar-les i catalogar-les (treballa juntament amb Glue, subcapítol 29.1). Simplifica els passos de crear el llac.

Aquesta és la peça estrella. Des de un sol lloc, defineixes qui pot accedir a quines dades, amb molt detall:

En comptes de gestionar permisos arxiu per arxiu a S3 (un caos), defineixes regles clares a nivell de dades (bases de dades, taules, columnes), de forma centralitzada. Això connecta amb el mínim privilegi que vam veure a IAM (subcapítol 7.2): cadascú accedeix només a les dades que necessita.

Gràcies a aquest control fi, pots protegir la informació sensible (dades personals, financeres) assegurant que només qui ha de pot veure-la, mentre altres accedeixen a la resta. És clau per complir normatives de privacitat.

Permet registrar i demostrar qui accedeix a quines dades, la qual cosa és essencial per a auditories i per complir regulacions (enllaça amb el compliment del Capítol 23). Tens una visió central de la seguretat de les teves dades.

El gran valor de Lake Formation és convertir un data lake potencialment caòtic i insegur en un de governat: on saps exactament qui accedeix a què, protegeixes el que és sensible i pots demostrar-ho. Sense govern, un data lake ple de dades valuoses és també una bomba de rellotgeria de seguretat i compliment. Amb Lake Formation, és un actiu segur i ben controlat.

Exemple del món real: una empresa de salut té un data lake amb dades de pacients (molt sensibles), dades operatives i dades públiques. Usen Lake Formation per governar-lo. Defineixen, de forma centralitzada: els investigadors accedeixen a dades anonimitzades i agregades (sense veure identitats), el personal mèdic autoritzat accedeix a les dades completes dels seus pacients, i l'equip de màrqueting només accedeix a dades públiques. Les columnes amb dades personals identificables estan protegides i només visibles per a qui té autorització explícita. Quan arriba una auditoria de protecció de dades, l'empresa demostra fàcilment qui accedeix a què. El que sense govern seria un risc legal enorme, amb Lake Formation és un sistema controlat, segur i conforme a la normativa.

Lake Formation completa la plataforma de dades que hem construït en aquest capítol:

Les primeres peces construeixen i exploten les dades; Lake Formation s'assegura que tot això sigui segur, controlat i conforme. Una plataforma de dades completa necessita les dues coses: capacitat i govern.

• Un data lake reuneix moltes dades (incloses sensibles) de tota l'empresa; sense control d'accés, és un risc greu de seguretat i compliment, i gestionar permisos «a mà» sobre milions d'arxius és inviable.
• AWS Lake Formation facilita construir, assegurar i governar un data lake de forma centralitzada. Com el sistema de control d'accessos d'un gran arxiu.
• La seva peça estrella és el control d'accés fi i centralitzat: defineixes des d'un sol lloc qui accedeix a quines dades, fins a nivell de taules i columnes (en línia amb el mínim privilegi d'IAM), en comptes de gestionar arxius solts a S3.
• Aporta: construir el llac més fàcil, protegir dades sensibles (clau per a la privacitat) i auditoria/complement (demostrar qui accedeix a què).
• Converteix un data lake caòtic i insegur en un de governat i segur: la diferència entre un risc i un actiu. Capacitat (29.1-29.3) més govern (Lake Formation) = plataforma de dades completa.

Has completat el Capítol 29 i domines les plataformes de dades a AWS: data lakes, streaming, data warehouse i govern de dades! Al Capítol 30 tornarem al terreny de l'organització a gran escala: com estructurar múltiples comptes i landing zones per a empreses grans.