El Deep Learning és una subàrea del Machine Learning que es basa en l'ús de xarxes neuronals artificials amb múltiples capes (d'aquí el terme "profund"). Aquestes xarxes són capaces d'aprendre representacions jeràrquiques de les dades, el que les fa especialment efectives en tasques complexes com el reconeixement d'imatges, la traducció automàtica i el processament del llenguatge natural.

Una ANN és un model computacional inspirat en la xarxa de neurones del cervell humà. Consta de neurones artificials (nodes) organitzades en capes:

• Capa d'entrada: Rep les dades d'entrada.
• Capes ocultes: Processen les dades a través de múltiples transformacions.
• Capa de sortida: Proporciona el resultat final.

Cada neurona artificial realitza una operació matemàtica simple:

1. Pesos i Bias: Cada connexió entre neurones té un pes associat, i cada neurona té un valor de bias.
2. Funció d'Activació: Transforma la suma ponderada de les entrades en una sortida no lineal.

Les funcions d'activació introdueixen no-linealitat en el model, permetent que la xarxa neuronal aprengui relacions complexes. Algunes de les funcions d'activació més comunes són:

• ReLU (Rectified Linear Unit): f(x) = max(0, x)
• Sigmoid: f(x) = 1 / (1 + e^(-x))
• Tanh: f(x) = (e^x - e^(-x)) / (e^x + e^(-x))

És el procés pel qual les dades d'entrada passen a través de la xarxa, capa per capa, fins a arribar a la capa de sortida.

És l'algorisme utilitzat per entrenar la xarxa neuronal. Consisteix en ajustar els pesos i els bias per minimitzar l'error de predicció:

1. Càlcul de l'Error: Es calcula l'error entre la sortida prevista i la sortida real.
2. Gradient Descent: S'utilitza per actualitzar els pesos i els bias en la direcció que minimitza l'error.

Són especialment efectives en el processament d'imatges. Utilitzen convolucions per extreure característiques espacials de les imatges.

• Capas Convolucionals: Apliquen filtres per detectar característiques com vores, textures, etc.
• Capas de Pooling: Redueixen la dimensionalitat de les característiques extretes.

Són adequades per a dades seqüencials com el text i les sèries temporals. Tenen connexions recurrents que permeten mantenir informació de passos anteriors.

• LSTM (Long Short-Term Memory): Una variant de les RNN que pot aprendre dependències a llarg termini.
• GRU (Gated Recurrent Unit): Una altra variant que simplifica l'estructura de les LSTM.

Construir una xarxa neuronal profunda per classificar imatges del conjunt de dades MNIST.

1. Carregar les dades MNIST.
2. Preprocessar les dades: Normalitzar les imatges i convertir les etiquetes a one-hot encoding.
3. Construir el model: Utilitzar capes convolucionals i denses.
4. Entrenar el model.
5. Avaluar el model.

• Overfitting: Si el model té una precisió molt alta en l'entrenament però baixa en la validació, pot estar sobreajustant-se. Prova amb tècniques com la regularització, el dropout o l'augment de dades.
• Elecció de la Funció d'Activació: Assegura't d'utilitzar funcions d'activació adequades per a cada capa. Per exemple, ReLU és una bona opció per a capes ocultes, mentre que Softmax és adequada per a la capa de sortida en classificació multiclasse.
• Normalització de les Dades: Sempre normalitza les dades d'entrada per millorar la convergència del model.

En aquesta secció, hem explorat els conceptes fonamentals del Deep Learning, incloent les xarxes neuronals artificials, les funcions d'activació i els algorismes de propagació cap endavant i cap enrere. També hem vist diferents arquitectures de xarxes neuronals profundes com les CNN i les RNN, i hem implementat un exemple pràctic de classificació d'imatges utilitzant una CNN. Finalment, hem proporcionat un exercici pràctic per reforçar els conceptes apresos.