Introducció
La detecció d'anomalies és un problema crucial en molts camps, com la seguretat, la detecció de fraus, la monitorització de sistemes, entre d'altres. Els autoencoders són una eina poderosa en Deep Learning per abordar aquest problema. En aquesta secció, explorarem com utilitzar autoencoders per detectar anomalies en dades.
Què és un Autoencoder?
Un autoencoder és un tipus de xarxa neuronal que s'entrena per copiar la seva entrada a la seva sortida. Consta de dues parts principals:
- Codificador (Encoder): Redueix la dimensió de les dades d'entrada a una representació latent més petita.
- Decodificador (Decoder): Reconstrueix les dades d'entrada a partir de la representació latent.
Estructura d'un Autoencoder
Exemple de codi d'un Autoencoder en Keras
import numpy as np from keras.models import Model from keras.layers import Input, Dense # Dades d'exemple x_train = np.random.random((1000, 20)) x_test = np.random.random((200, 20)) # Definició de l'autoencoder input_dim = x_train.shape[1] encoding_dim = 10 # Dimensió de la representació latent input_layer = Input(shape=(input_dim,)) encoder = Dense(encoding_dim, activation="relu")(input_layer) decoder = Dense(input_dim, activation="sigmoid")(encoder) autoencoder = Model(inputs=input_layer, outputs=decoder) # Compilació del model autoencoder.compile(optimizer="adam", loss="mean_squared_error") # Entrenament del model autoencoder.fit(x_train, x_train, epochs=50, batch_size=32, shuffle=True, validation_data=(x_test, x_test))
Detecció d'Anomalies amb Autoencoders
Passos per a la Detecció d'Anomalies
- Entrenament de l'Autoencoder: Entrenar l'autoencoder amb dades normals (sense anomalies).
- Reconeixement de les Dades: Utilitzar l'autoencoder entrenat per reconstruir les dades de prova.
- Càlcul de l'Error de Reconstrucció: Calcular l'error entre les dades d'entrada i les dades reconstruïdes.
- Detecció d'Anomalies: Si l'error de reconstrucció és superior a un cert llindar, es considera una anomalia.
Exemple de codi per a la Detecció d'Anomalies
# Reconstrucció de les dades de prova
reconstructed_data = autoencoder.predict(x_test)
# Càlcul de l'error de reconstrucció
reconstruction_error = np.mean(np.square(x_test - reconstructed_data), axis=1)
# Definició del llindar per a la detecció d'anomalies
threshold = np.percentile(reconstruction_error, 95)
# Detecció d'anomalies
anomalies = reconstruction_error > threshold
print("Nombre d'anomalies detectades:", np.sum(anomalies))Exercici Pràctic
Objectiu
Entrenar un autoencoder amb un conjunt de dades normal i utilitzar-lo per detectar anomalies en un conjunt de dades de prova.
Passos
- Preparació de les Dades: Utilitzar un conjunt de dades normal per entrenar l'autoencoder.
- Entrenament de l'Autoencoder: Entrenar l'autoencoder amb les dades normals.
- Reconeixement de les Dades de Prova: Utilitzar l'autoencoder per reconstruir les dades de prova.
- Càlcul de l'Error de Reconstrucció: Calcular l'error de reconstrucció per a cada mostra de les dades de prova.
- Detecció d'Anomalies: Determinar un llindar per a l'error de reconstrucció i identificar les anomalies.
Solució
import numpy as np
from keras.models import Model
from keras.layers import Input, Dense
# Dades d'exemple
x_train = np.random.random((1000, 20))
x_test = np.random.random((200, 20))
# Definició de l'autoencoder
input_dim = x_train.shape[1]
encoding_dim = 10 # Dimensió de la representació latent
input_layer = Input(shape=(input_dim,))
encoder = Dense(encoding_dim, activation="relu")(input_layer)
decoder = Dense(input_dim, activation="sigmoid")(encoder)
autoencoder = Model(inputs=input_layer, outputs=decoder)
# Compilació del model
autoencoder.compile(optimizer="adam", loss="mean_squared_error")
# Entrenament del model
autoencoder.fit(x_train, x_train, epochs=50, batch_size=32, shuffle=True, validation_data=(x_test, x_test))
# Reconstrucció de les dades de prova
reconstructed_data = autoencoder.predict(x_test)
# Càlcul de l'error de reconstrucció
reconstruction_error = np.mean(np.square(x_test - reconstructed_data), axis=1)
# Definició del llindar per a la detecció d'anomalies
threshold = np.percentile(reconstruction_error, 95)
# Detecció d'anomalies
anomalies = reconstruction_error > threshold
print("Nombre d'anomalies detectades:", np.sum(anomalies))Conclusió
Els autoencoders són una eina potent per a la detecció d'anomalies gràcies a la seva capacitat per aprendre representacions latents de les dades. En aquest mòdul, hem après a entrenar un autoencoder i utilitzar-lo per detectar anomalies en un conjunt de dades. Aquesta tècnica es pot aplicar a una àmplia varietat de problemes en diferents camps.
Curs de Deep Learning
Mòdul 1: Introducció a Deep Learning
- Què és Deep Learning?
- Història i evolució del Deep Learning
- Aplicacions de Deep Learning
- Conceptes bàsics de xarxes neuronals
Mòdul 2: Fonaments de Xarxes Neuronals
- Perceptró i Perceptró Multicapa
- Funció d'activació
- Propagació cap endavant i cap enrere
- Optimització i funció de pèrdua
Mòdul 3: Xarxes Neuronals Convolucionals (CNN)
- Introducció a les CNN
- Capes convolutionals i de pooling
- Arquitectures populars de CNN
- Aplicacions de CNN en reconeixement d'imatges
Mòdul 4: Xarxes Neuronals Recurrentes (RNN)
- Introducció a les RNN
- LSTM i GRU
- Aplicacions de RNN en processament del llenguatge natural
- Seqüències i sèries temporals
Mòdul 5: Tècniques Avançades en Deep Learning
- Xarxes Generatives Adversarials (GAN)
- Autoencoders
- Transfer Learning
- Regularització i tècniques de millora
Mòdul 6: Eines i Frameworks
- Introducció a TensorFlow
- Introducció a PyTorch
- Comparació de frameworks
- Entorns de desenvolupament i recursos addicionals
Mòdul 7: Projectes Pràctics
- Classificació d'imatges amb CNN
- Generació de text amb RNN
- Detecció d'anomalies amb Autoencoders
- Creació d'una GAN per generació d'imatges