En aquest tema, explorarem dues arquitectures de dades modernes que són àmpliament utilitzades per gestionar grans volums de dades i processar-les de manera eficient: les arquitectures Lambda i Kappa. Aquestes arquitectures són fonamentals per a les organitzacions que necessiten processar dades en temps real i batch, oferint flexibilitat i escalabilitat.

Al final d'aquest tema, els estudiants seran capaços de:

• Comprendre els conceptes bàsics de les arquitectures Lambda i Kappa.
• Identificar les diferències clau entre ambdues arquitectures.
• Reconèixer els avantatges i desavantatges de cada arquitectura.
• Aplicar els coneixements adquirits per dissenyar solucions de processament de dades adequades a les necessitats de l'organització.

L'arquitectura Lambda és un disseny de sistema que gestiona grans volums de dades combinant processament batch i en temps real. Aquesta arquitectura es divideix en tres capes principals:

1. Capa Batch: Processa grans volums de dades en intervals de temps definits. Aquest processament és més lent però permet una anàlisi profunda i completa de les dades.
2. Capa de Velocitat: Processa les dades en temps real per proporcionar resultats immediats. Aquesta capa és més ràpida però pot no ser tan precisa com la capa batch.
3. Capa de Servei: Combina els resultats de les capes batch i de velocitat per oferir una visió completa i actualitzada de les dades.

• Flexibilitat: Permet processar dades tant en temps real com en batch.
• Precisió: La capa batch proporciona resultats precisos i complets.
• Escalabilitat: Pot gestionar grans volums de dades.

• Complexitat: Requereix mantenir dues vies de processament diferents.
• Duplicació de Dades: Pot haver-hi duplicació de dades entre les capes batch i de velocitat.

L'arquitectura Kappa és una simplificació de l'arquitectura Lambda que només utilitza una única via de processament en temps real. Aquesta arquitectura es basa en el processament de fluxos de dades contínuament, eliminant la necessitat de processament batch.

• Simplicitat: Només requereix mantenir una única via de processament.
• Menor Latència: Processa les dades en temps real, oferint resultats immediats.
• Menor Cost: Redueix els costos associats al manteniment de dues vies de processament.

• Menor Precisió: Pot no ser tan precisa com l'arquitectura Lambda en certs casos.
• Limitacions en l'Anàlisi Històrica: Pot ser menys adequada per a anàlisis històriques profundes.

Dissenya una solució de processament de dades per a una empresa de comerç electrònic que necessita analitzar les dades de vendes en temps real per detectar fraus i també generar informes detallats de vendes setmanals.

1. Capa Batch: Utilitza Hadoop per processar les dades de vendes setmanals i generar informes detallats.
2. Capa de Velocitat: Utilitza Apache Kafka i Apache Storm per processar les transaccions en temps real i detectar fraus immediatament.
3. Capa de Servei: Combina els resultats de les capes batch i de velocitat per oferir una visió completa i actualitzada de les vendes i possibles fraus.

En aquest tema, hem explorat les arquitectures Lambda i Kappa, destacant els seus conceptes bàsics, avantatges i desavantatges. També hem comparat ambdues arquitectures per ajudar a determinar quina és la més adequada segons les necessitats de l'organització. Finalment, hem aplicat aquests coneixements en un exercici pràctic per dissenyar una solució de processament de dades per a una empresa de comerç electrònic.