En aquest tema, aprendrem com avaluar els models de Machine Learning creats amb BigQuery ML (BQML) i com utilitzar aquests models per fer prediccions. Aquest procés és crucial per assegurar-nos que els nostres models funcionen correctament i proporcionen resultats precisos.
- Avaluació de models
1.1. Mètriques d'avaluació
BigQuery ML proporciona diverses mètriques per avaluar els models de Machine Learning. Les mètriques varien segons el tipus de model (classificació, regressió, etc.). Algunes de les mètriques més comunes són:
- Accuracy: Proporció de prediccions correctes respecte al total de prediccions.
- Precision: Proporció de prediccions positives correctes respecte al total de prediccions positives.
- Recall: Proporció de prediccions positives correctes respecte al total de casos reals positius.
- F1 Score: Mitjana harmònica de la precisió i el recall.
- Mean Absolute Error (MAE): Promig dels errors absoluts entre les prediccions i els valors reals.
- Root Mean Squared Error (RMSE): Arrel quadrada del promig dels errors quadrats entre les prediccions i els valors reals.
1.2. Exemple pràctic: Avaluació d'un model de classificació
Suposem que hem creat un model de classificació per predir si un client farà una compra. Utilitzarem la funció ML.EVALUATE
per obtenir les mètriques d'avaluació del model.
SELECT * FROM ML.EVALUATE(MODEL `project_id.dataset.model_name`, ( SELECT * FROM `project_id.dataset.evaluation_data` ))
Explicació del codi
ML.EVALUATE
: Funció de BigQuery ML per avaluar un model.MODEL project_id.dataset.model_name
: Especifica el model que volem avaluar.evaluation_data
: Conjunt de dades utilitzat per avaluar el model.
- Predicció amb models
2.1. Realitzar prediccions
Un cop hem avaluat el nostre model i estem satisfets amb el seu rendiment, podem utilitzar-lo per fer prediccions sobre noves dades. Utilitzarem la funció ML.PREDICT
per fer-ho.
2.2. Exemple pràctic: Predicció amb un model de classificació
Continuant amb l'exemple anterior, utilitzarem el model de classificació per predir si nous clients faran una compra.
SELECT * FROM ML.PREDICT(MODEL `project_id.dataset.model_name`, ( SELECT * FROM `project_id.dataset.new_data` ))
Explicació del codi
ML.PREDICT
: Funció de BigQuery ML per fer prediccions amb un model.MODEL project_id.dataset.model_name
: Especifica el model que volem utilitzar per fer prediccions.new_data
: Conjunt de dades sobre el qual volem fer prediccions.
- Exercicis pràctics
Exercici 1: Avaluació d'un model de regressió
- Crea un model de regressió per predir el preu d'habitatges.
- Utilitza la funció
ML.EVALUATE
per obtenir les mètriques d'avaluació del model. - Interpreta les mètriques obtingudes.
Exercici 2: Predicció amb un model de regressió
- Utilitza el model de regressió creat en l'exercici anterior per predir el preu d'habitatges en un nou conjunt de dades.
- Utilitza la funció
ML.PREDICT
per fer les prediccions. - Analitza els resultats obtinguts.
Solucions
Solució a l'Exercici 1
-- Creació del model de regressió CREATE OR REPLACE MODEL `project_id.dataset.house_price_model` OPTIONS(model_type='linear_reg') AS SELECT * FROM `project_id.dataset.training_data`; -- Avaluació del model SELECT * FROM ML.EVALUATE(MODEL `project_id.dataset.house_price_model`, ( SELECT * FROM `project_id.dataset.evaluation_data` ));
Solució a l'Exercici 2
-- Predicció amb el model de regressió SELECT * FROM ML.PREDICT(MODEL `project_id.dataset.house_price_model`, ( SELECT * FROM `project_id.dataset.new_data` ));
Conclusió
En aquest tema, hem après com avaluar els models de Machine Learning creats amb BigQuery ML utilitzant diverses mètriques d'avaluació. També hem vist com utilitzar aquests models per fer prediccions sobre noves dades. Aquests passos són essencials per assegurar-nos que els nostres models funcionen correctament i proporcionen resultats precisos. En el proper tema, explorarem les funcions avançades de BQML per millorar encara més els nostres models.
Curs de BigQuery
Mòdul 1: Introducció a BigQuery
- Què és BigQuery?
- Configurar el teu entorn de BigQuery
- Comprendre l'arquitectura de BigQuery
- Visió general de la consola de BigQuery
Mòdul 2: SQL bàsic a BigQuery
Mòdul 3: SQL intermedi a BigQuery
Mòdul 4: SQL avançat a BigQuery
- Unions avançades
- Camps niats i repetits
- Funcions definides per l'usuari (UDFs)
- Particionament i agrupament
Mòdul 5: Gestió de dades a BigQuery
- Carregar dades a BigQuery
- Exportar dades de BigQuery
- Transformació i neteja de dades
- Gestió de conjunts de dades i taules
Mòdul 6: Optimització del rendiment de BigQuery
- Tècniques d'optimització de consultes
- Comprendre els plans d'execució de consultes
- Ús de vistes materialitzades
- Optimització de l'emmagatzematge
Mòdul 7: Seguretat i compliment de BigQuery
Mòdul 8: Integració i automatització de BigQuery
- Integració amb serveis de Google Cloud
- Ús de BigQuery amb Dataflow
- Automatització de fluxos de treball amb Cloud Functions
- Programació de consultes amb Cloud Scheduler
Mòdul 9: Aprenentatge automàtic a BigQuery (BQML)
- Introducció a BigQuery ML
- Creació i entrenament de models
- Avaluació i predicció amb models
- Funcions avançades de BQML