Seguim a la Part VII amb el Capítol 29: Plataformes de dades a AWS, on entrem en el món de les dades a gran escala: emmagatzemar, processar i analitzar enormes quantitats d’informació. Comencem pel concepte central de l’analítica moderna: el data lake (llac de dades), i com construir-lo a AWS amb tres serveis que treballen junts: S3 (magatzem), Glue (catàleg i processament) i Athena (consultes). És la base per extreure valor de les dades d’una empresa.

Una empresa moderna genera moltíssimes dades, de fonts molt variades: vendes, registres del web, sensors, xarxes socials, aplicacions... i en formats diferents (taules, text, registres, arxius). Aquestes dades, ben aprofitades, són or: revelen patrons, ajuden a decidir, alimenten la intel·ligència artificial. Però hi ha un problema:

Necessites un lloc on reunir totes aquestes dades i poder analitzar-les juntes. Aquest lloc és el data lake.

Un data lake (llac de dades) és un repositori central on guardes enormes quantitats de dades de qualsevol tipus i format, en la seva forma original, per analitzar-les quan vulguis. La idea: primer ho guardes tot (sense haver d’estructurar-ho prèviament), i decideixes com analitzar-ho després.

Analogia: un data lake és com un gran magatzem/biblioteca on guardes TOT tal com arriba (documents, fotos, gravacions, dades...), sense haver de classificar-ho perfectament a l’entrada. L’avantatge és que ho tens tot en un lloc i, quan necessites respondre una pregunta, hi vas i ho analitzes. Es contraposa a un magatzem molt ordenat on només entra el que encaixa en prestatgeries predefinides (això seria més aviat un data warehouse, que veurem al subcapítol 29.3). El llac accepta tot; ja li donaràs forma quan ho necessitis.

💡 Llac vs magatzem: un data lake guarda dades en brut, de qualsevol tipus, i decideixes l’estructura en consultar-les («schema-on-read»). Un data warehouse (Redshift, subcap. 29.3) guarda dades ja estructurades i optimitzades per a consultes ràpides. Són complementaris; cadascun té el seu paper.

A AWS, un data lake es construeix típicament amb tres serveis que col·laboren:

S3 (Capítol 5) és el lloc on es guarden les dades del data lake. Recorda les seves virtuts: emmagatzematge pràcticament il·limitat, molt barat, durador i que admet qualsevol tipus d’arxiu. És el lloc perfecte per abocar enormes quantitats de dades de qualsevol format. S3 és, literalment, el llac: el contenidor de totes les dades.

Tenir milions d’arxius a S3 no serveix de gaire si no saps què hi ha i on. AWS Glue resol això. Fa dues coses clau:

• Cataloga les dades: descobreix quines dades hi ha al teu S3 i crea un catàleg (com un índex o inventari) que diu quina informació conté cada conjunt de dades, la seva estructura, etc. Així, les dades del llac es tornen localitzables i entenedores.
• Processa i transforma les dades (ETL): permet netejar, transformar i preparar les dades (per exemple, convertir formats, ajuntar fonts), perquè estiguin llestes per analitzar.

Analogia: Glue és com el bibliotecari del gran magatzem: recorre tot el que hi ha guardat, crea un catàleg (saps què hi ha i on trobar-ho) i, quan cal, prepara i organitza materials perquè els puguis fer servir. Sense el bibliotecari, el magatzem seria un caos impossible d’aprofitar.

Amazon Athena et permet fer consultes (amb SQL) directament sobre les dades guardades a S3, sense haver-les de moure a una base de dades. Usant el catàleg de Glue, fas preguntes a les teves dades com si fossin una base de dades, i Athena les respon llegint directament de S3.

El potent: Athena és serverless (sense servidors per gestionar, recorda la filosofia del Capítol 14) i pagues només per les consultes que fas. És ideal per analitzar dades del llac de forma puntual i flexible.

Analogia: Athena és com poder fer-li preguntes directament a la biblioteca i obtenir respostes, sense haver de treure primer tots els llibres i portar-los a una altra sala. Li preguntes «quantes vendes hi va haver al març a Espanya?» i et respon consultant directament les dades on són (a S3).

El trio forma un data lake complet:

S3 guarda, Glue organitza i prepara, Athena consulta. Junts et permeten reunir totes les dades de la teva empresa i treure’n valor sense muntar infraestructura complexa.

Exemple del món real: una empresa de comerç vol analitzar el comportament dels seus clients ajuntant dades de vendes, navegació web i campanyes de màrqueting. Construeixen un data lake: aboquen totes aquestes dades a S3 (cada font a la seva carpeta). Glue recorre S3, cataloga què hi ha i prepara les dades (unifica formats, neteja). Després, els analistes fan servir Athena per preguntar amb SQL coses com «quins productes compren més els clients que van venir de tal campanya?», consultant directament sobre S3, sense muntar cap base de dades. Descobreixen patrons valuosos que abans, amb les dades disperses, eren invisibles. I tot serverless: paguen per l’emmagatzematge barat de S3 i per les consultes que executen, sense servidors per mantenir.

• Les empreses generen moltíssimes dades disperses de fonts i formats variats; aprofitar-les requereix reunir-les en un lloc: el data lake.
• Un data lake és un repositori central on guardes enormes quantitats de dades de qualsevol tipus, en el seu format original, per analitzar-les quan vulguis (ho guardes tot primer, decideixes com analitzar-ho després). Com un gran magatzem que accepta tot.
• A AWS es construeix amb tres peces: S3 (el magatzem: il·limitat, barat, qualsevol format — és el llac), Glue (cataloga quines dades hi ha i les processa/prepara — el bibliotecari) i Athena (consulta amb SQL directament sobre S3, serverless — preguntar a la biblioteca).
• Junts: S3 guarda, Glue organitza, Athena consulta, permetent treure valor de totes les dades sense infraestructura complexa.
• 💡 Un data lake (dades en brut) es complementa amb un data warehouse (dades estructurades, Redshift, subcap. 29.3).

Al següent subcapítol veurem com capturar i processar dades que arriben en temps real, de forma contínua, amb Kinesis.