En tancar el mòdul 7, l'equip de TecnoMarket va lliurar un portfolio de cinc models funcionant: classificador d'imatges, generador de descripcions, detector de frau, GAN d'imatges promocionals i un model afinat amb transfer learning. Tots funcionen. Però "funciona" no és el mateix que "és correcte usar-lo així". Un detector de frau amb bon recall global pot estar penalitzant sistemàticament un barri sencer; un generador d'imatges pot fabricar contingut enganyós; un classificador pot discriminar sense que ningú l'hagi programat per fer-ho. Aquesta lliçó converteix aquestes preocupacions difuses en eines concretes: com s'origina el biaix, com detectar-lo amb codi, com mitigar-lo, com explicar decisions d'una caixa negra, com tractar les dades personals i què fer amb el contingut sintètic. És, a més, on saldem el deute pendent des de la lliçó 05-01: el risc dels deepfakes.

1. Biaix algorítmic: d'on ve realment
2. El biaix a TecnoMarket: dos casos concrets
3. Detecció pràctica: mètriques per subgrups
4. Mitigació del biaix i els seus dilemes
5. Transparència i explicabilitat: obrir la caixa negra
6. Privadesa: les dades personals darrere del model
7. Deepfakes i contingut sintètic: el deute de 05-01
8. Checklist ètica de TecnoMarket abans de cada desplegament

Un mite freqüent: "l'algorisme és matemàtic, per tant és neutral". Fals. Una xarxa neuronal aprèn exactament el que hi ha a les seves dades, inclosos els patrons que preferiríem que no aprengués. El biaix algorítmic no acostuma a venir d'un programador malintencionat, sinó de tres fonts molt més mundanes:

• Dades històriques esbiaixades: si les dades reflecteixen decisions humanes passades injustes, el model les perpetua. Va aprendre del passat, i el passat no era neutral.
• Representació desigual: si un grup apareix poc al dataset, el model funciona pitjor per a aquest grup. No per "odi", sinó per pura estadística: menys exemples, pitjor generalització. És el mateix fenomen que vam veure amb classes desequilibrades al detector de frau (07-03), aplicat a persones.
• Variables proxy: el model no necessita veure la variable sensible (gènere, ètnia, edat) per discriminar-hi. N'hi ha prou que una altra variable hi correlacioni: el codi postal correlaciona amb nivell de renda i origen; l'historial de compres, amb l'edat; el nom, amb el gènere.

Alguns casos reals coneguts que convé tenir presents:

Fixa't en el patró: en cap d'aquests casos algú va programar la discriminació. Va emergir de les dades. Aquesta és la lliçó central: el biaix és el comportament per defecte d'un model entrenat amb dades del món real, no una anomalia exòtica.

Baixem al nostre portfolio. Dos dels cinc models tenen risc directe de biaix:

El detector d'anomalies de 07-03 usa, entre altres variables, dades de la transacció i del client. Suposem que l'equip hi va incloure el codi postal (o alguna cosa que hi correlaciona, com la franja de preu mitjana del barri de lliurament). Risc: si històricament hi va haver més frau detectat en certs barris —potser perquè s'hi investigava més, no perquè hi hagués més frau real—, el model aprendrà "codi postal X ⇒ sospitós". Resultat: clients legítims d'aquests barris pateixen més bloquejos, més fricció i més "clients molestos" dels que vam quantificar a 5 € a la matriu de confusió en euros de 07-03. Però aquest cost de 5 € no es reparteix uniformement: es concentra en un grup. Això ja no és només un cost de negoci; és un problema d'equitat.

TecnoMarket permet a venedors externs pujar productes. Els grans venedors pugen fotos d'estudi (fons blanc, bona llum); els petits, fotos casolanes (fons de cuina, llum groga, mòbil antic). Si el classificador de 07-01/07-05 es va entrenar majoritàriament amb fotos d'estudi, tindrà pitjor accuracy en fotos casolanes. Conseqüència: els productes de venedors petits es classifiquen malament, cauen més sovint a la cua de revisió humana (03-04) o directament es categoritzen malament i no apareixen a les cerques. El model, sense saber-ho, afavoreix els venedors grans. És representació desigual pura: el subgrup "foto casolana" està infrarepresentat.

Tots dos casos comparteixen una propietat incòmoda: les mètriques globals no els detecten. Un 91 % d'accuracy global pot amagar un 96 % en fotos d'estudi i un 74 % en fotos casolanes. Per això la detecció exigeix desagregar.

L'eina bàsica d'auditoria de biaix és senzilla i ja en coneixes totes les peces: calcular les mètriques del mòdul 7, però per separat per a cada subgrup rellevant. Un exemple amb el detector de frau, avaluant recall i taxa de falsos positius per segment de codi postal:

Un resultat com aquest hauria de fer saltar totes les alarmes:

El recall és similar a totes les zones (el model caça frau semblant a totes), però la taxa de falsos positius és 5 vegades més gran a la perifèria: un client legítim de periferia_nord té 5 vegades més probabilitat que li bloquegin la compra. Això és biaix mesurable. Claus del mètode:

• Tria els subgrups abans de mirar resultats (zona, tipus de venedor, franja d'edat, idioma de la ressenya...), per no buscar només on no fa mal.
• Compara la mètrica que representa el dany per a aquell grup. Per a clients legítims, la taxa de falsos positius; per a venedors, l'accuracy de classificació de les seves fotos.
• Compte amb els subgrups petits: amb n = 50, les diferències poden ser soroll. Reporta també la mida de mostra.
• Automatitza-ho: aquesta anàlisi ha de córrer a cada reentrenament, igual que la validació sobre el conjunt congelat de 06-05, no una vegada i mai més.

Detectat el biaix, hi ha tres famílies d'intervenció, ordenades de més recomanable a més delicada:

El tercer punt mereix una pausa, perquè revela una cosa profunda: hi ha diverses definicions matemàtiques de "justícia" i són mútuament incompatibles en el cas general. Igualar la taxa de falsos positius entre grups, igualar el recall, o usar el mateix llindar per a tothom són tres criteris raonables… i llevat de casos degenerats no es poden satisfer tots tres alhora. No hi ha cap teorema que decideixi per tu: és una decisió de valors que l'equip ha de prendre explícitament, documentar i poder defensar. L'inacceptable no és triar un criteri o un altre; és no haver-ne triat conscientment cap.

Una xarxa profunda amb milions de paràmetres no ofereix una explicació llegible de per què va bloquejar una transacció. Això importa per tres raons:

1. Confiança de l'usuari: "la seva compra ha estat bloquejada" sense motiu genera fuga de clients.
2. Depuració de l'equip: sense explicacions, el biaix de l'apartat anterior és més difícil de diagnosticar.
3. Dret a explicació: a la UE, les persones tenen dret a no ser objecte de decisions totalment automatitzades amb efectes significatius, i a obtenir intervenció humana i informació significativa sobre la lògica aplicada (idea recollida al RGPD; vegeu la secció de privadesa i el seu advertiment legal).

Eines a nivell conceptual (no les implementarem aquí):

• Mapes de saliència / Grad-CAM (visió): ressalten quins píxels van influir més en la predicció. Si el classificador de 07-05 "mira" el fons de la cuina en comptes del producte, ho veuràs literalment: és la forma més directa de confirmar el biaix de les fotos casolanes.
• SHAP / importància d'atribució (tabular): assignen a cada variable d'entrada una contribució a la predicció concreta. "Aquesta transacció es va marcar per: import 4× superior a la mitjana del client (+0.31), enviament a adreça nova (+0.22)…". Si el codi postal apareix sistemàticament com a principal contribuent, tens el proxy al davant.
• Models substituts simples: entrenar un arbre de decisió que imiti el model gran per obtenir regles aproximades llegibles.

I la salvaguarda organitzativa que ja vam construir: la cua de revisió humana amb llindar de confiança de 03-04. Quan el model no està segur —o quan la decisió és d'alt impacte, com bloquejar un client—, decideix una persona, no el model. La decisió a tres bandes de 07-03 (aprovar / revisar / bloquejar) és exactament això: la franja "revisar" és on viu la garantia humana. L'explicabilitat tècnica i la revisió humana no competeixen; es complementen: la primera ajuda el revisor humà a decidir millor i més ràpid.

Els cinc models de TecnoMarket es van entrenar amb dades que, en un desplegament real, inclouen dades personals: historials de compra, ressenyes escrites per clients, adreces. Principis pràctics:

• Minimització: entrena només amb les variables que necessites. Cada columna de dades personals que no uses és risc gratuït. De debò el generador de descripcions de 07-02 necessita el nom de l'autor de cada ressenya? No.
• Anonimització i els seus límits: treure el nom i el DNI no n'hi ha prou. La combinació de codi postal + data de naixement + sexe reidentifica la majoria de la població; els historials de compra detallats són gairebé empremtes dactilars. La pseudonimització (substituir identificadors per codis) redueix el risc però no l'elimina.
• Memorització dels generatius: els models generatius poden memoritzar i regurgitar fragments d'entrenament. El generador de 07-02, entrenat amb ressenyes reals, podria reproduir literalment una ressenya que contingui dades personals ("va arribar tard a casa meva al carrer X..."). Això reforça la revisió humana de tota sortida generada abans de publicar-la, que ja vam establir a 07-02.
• Drets dels interessats: accés, rectificació, supressió. "Suprimir" és incòmode en deep learning: la dada pot estar diluïda als pesos. La pràctica habitual és eliminar-la del dataset i aplicar-ho al següent reentrenament, documentant el procés.

Sobre el marc normatiu europeu, a nivell purament orientatiu: el RGPD regula el tractament de dades personals (base jurídica, minimització, drets, decisions automatitzades) i el Reglament Europeu d'IA (AI Act) classifica els sistemes d'IA per nivell de risc, imposant obligacions creixents —transparència, supervisió humana, gestió de riscos— als d'alt risc, i obligacions de marcatge a certs continguts generats per IA.

Advertiment important: res del que s'ha dit no és assessorament legal. Aquest curs resumeix idees generals amb finalitats formatives; els detalls, terminis, classificacions de risc i obligacions concretes depenen del cas, el sector i la jurisdicció, i canvien amb el temps. Abans de qualsevol desplegament real que tracti dades personals o prengui decisions sobre persones, el projecte l'ha de revisar un professional de compliance/legal.

A 05-01 vam aprendre com funcionen les GAN i vam ajornar deliberadament la conversa sobre el seu mal ús. A 07-04 vam entrenar una DCGAN capaç de generar imatges de roba raonablement convincents. És el moment de saldar el deute.

La mateixa tecnologia escala a rostres i veus indistingibles dels reals: els deepfakes. Els riscos són concrets: suplantació d'identitat (vídeos falsos de directius autoritzant transferències), desinformació, imatges íntimes no consentides i erosió general de la confiança ("si tot pot ser fals, res no prova res").

TecnoMarket no fa deepfakes de persones, però el seu generador de 07-04 (i qualsevol evolució futura cap a imatges promocionals realistes) planteja versions comercials del mateix problema:

• Generar una foto "del producte" que no correspon al producte real ⇒ publicitat enganyosa.
• Generar imatges amb persones sintètiques usant-les com si fossin clients reals ("La Maria, de Sevilla, opina...") ⇒ testimonis fabricats.
• Generar ressenyes sintètiques amb el model de 07-02 i publicar-les com si fossin de clients ⇒ directament frau al consumidor.

Marc d'ús responsable del contingut sintètic, en quatre regles:

1. Mai presentar allò sintètic com a real quan això influeixi en decisions de compra o de confiança. Les imatges promocionals generades s'usen com a il·lustració creativa, no com a foto del producte.
2. Marcar el contingut sintètic: etiqueta visible ("imatge generada per IA") i, quan l'eina ho permeti, marcatge tècnic (metadades de procedència, estàndards tipus C2PA, marques d'aigua). El marcatge, a més, s'està alineant amb obligacions regulatòries (vegeu l'advertiment legal anterior).
3. Revisió humana abans de publicar, la regla que ja regeix el generador de text de 07-02: res generat no surt al públic sense ulls humans.
4. Ús prohibit explícit: la política interna ha de llistar el que no es fa mai (ressenyes falses, persones sintètiques presentades com a reals, imitació de marques o persones), perquè no depengui del criteri individual de cada empleat un divendres a la tarda.

Tot l'anterior es condensa en una checklist que l'equip afegeix al final de la checklist de desplegament de 06-05. Cap model no passa a producció sense respondre-la per escrit:

Fixem-nos que la checklist no exigeix perfecció: exigeix haver mirat, haver decidit i haver-ho documentat. La negligència ètica gairebé mai no és una mala decisió; és l'absència de decisió.

• "El meu model no discrimina: no li dono la variable sensible." Error clàssic. Els proxies (codi postal, historial, nom) transmeten la informació igualment. L'única manera de saber-ho és mesurar resultats per subgrup, no inspeccionar la llista de columnes.
• Auditar una sola vegada. El biaix reapareix amb cada reentrenament i amb la deriva de dades (06-05). L'auditoria per subgrups ha de ser part del pipeline, no un esdeveniment.
• Confondre explicabilitat amb excusa. "El model ho va decidir" no és una explicació vàlida davant d'un client ni davant d'un regulador. Si no pots explicar la decisió, la decisió d'alt impacte no ha de ser totalment automàtica.
• Igualar mètriques sense pensar quina. Abans d'aplicar llindars per grup, decideix explícitament quina noció d'equitat persegueixes i documenta per què; recorda que no les pots satisfer totes alhora.
• Tractar la privadesa com un problema de la base de dades. Els pesos del model també "contenen" dades: els generatius poden memoritzar. Prova activament si el teu generador regurgita textos d'entrenament.
• Consell: converteix la checklist en un document viu del repositori, versionat juntament amb el model. Quan alguna cosa surti malament (sortirà), tenir el raonament per escrit distingeix un error honest d'una negligència.
• Consell: en subgrups petits, acompanya sempre la mètrica de la seva n. Una diferència enorme amb n = 30 mereix recollir més dades abans que redissenyar el model.

L'equip desagrega l'accuracy del classificador de 07-05 per tipus de venedor i obté: venedors grans (fotos d'estudi, n = 18 000): 94 %; venedors petits (fotos casolanes, n = 2 400): 76 %. El director comercial diu: "el global és 92 %, superem l'objectiu del 90 %, despleguem". Analitza: (a) què està malament en aquest raonament?; (b) proposa dues mitigacions concretes de famílies diferents, amb el seu cost i el seu risc; (c) quin paper pot jugar la cua de revisió humana de 03-04 mentre la mitigació arriba?

Al detector de frau, la taxa de falsos positius és del 0,8 % al centre i del 4,1 % a la perifèria nord (recall similar). Un enginyer proposa apujar el llindar d'anomalia només a la perifèria fins a igualar els falsos positius al 0,8 %. Simula la discussió de l'equip: dona un argument sòlid a favor, un argument sòlid en contra, identifica quina informació addicional demanaries abans de decidir i quina opció alternativa hi ha que no toqui els llindars.

Màrqueting vol usar la GAN (evolucionada) per generar: (a) fons decoratius abstractes per a banners; (b) imatges fotorealistes dels productes "millorades" per a les fitxes de producte; (c) rostres de "clients satisfets" al costat de ressenyes reals anonimitzades. Aplica el marc d'ús responsable de contingut sintètic a cada cas i dictamina: permès sense més, permès amb condicions (quines?), o prohibit (per què?).

Solució 1. (a) El 92 % global és una mitjana ponderada que amaga que un subgrup rep un servei molt inferior (76 %); com que els venedors petits són minoria (2 400 de 20 400), el seu mal resultat gairebé no mou la mitjana. L'objectiu "90 % global" no protegeix els subgrups, i el dany és asimètric: per a un venedor petit, la mala classificació significa invisibilitat a les cerques — el model agreuja el desavantatge del més feble. (b) Mitigació de dades: recollir/etiquetar diversos milers de fotos casolanes (fins i tot demanant-les als mateixos venedors o generant augments de dades amb fons i llums casolans); cost alt en etiquetatge, risc baix. Mitigació de reponderació: repetir el fine-tuning de 07-05 amb pes més gran per a les fotos casolanes; cost baix, risc de perdre una mica d'accuracy en fotos d'estudi, que caldria quantificar (baixar de 94 % a 92,5 % a canvi d'apujar de 76 % a 86 % és un bon tracte? Gairebé segur que sí). (c) Mentrestant, abaixar el llindar de confiança específicament per a fotos identificades com a "no d'estudi", enviant-ne més a la cua de revisió humana: els venedors petits obtenen classificació correcta (humana) a costa de latència i cost de revisió, en lloc d'obtenir classificació errònia automàtica.

Solució 2. A favor: la situació actual ja tracta desigualment els grups en resultats (un client legítim de perifèria pateix 5 vegades més bloquejos); el llindar per zona no crea la desigualtat, la corregeix, i el criteri "igual taxa de falsos positius per a clients legítims" és una noció d'equitat defensable i documentable. En contra: introdueix una regla explícita que decideix diferent segons la zona (proxy d'origen/renda), cosa que pot ser difícil de defensar legalment i davant de l'opinió pública ("TecnoMarket té llindars diferents per barri"); a més, si el frau real difereix entre zones, apujar el llindar a la perifèria deixarà passar frau real (cost de 400 €/cas segons 07-03). Informació addicional: la diferència de falsos positius ve de frau real diferent o de biaix històric a les etiquetes (es va investigar més a la perifèria)? Quines variables empenyen la puntuació a la perifèria (mirar atribucions tipus SHAP)? Quina és la n de cada zona? Alternativa sense tocar llindars: atacar la causa — eliminar o revisar els proxies de zona a les variables d'entrada, reetiquetar l'històric dubtós, reentrenar, i mentrestant encaminar la franja dubtosa de la perifèria a la cua de revisió humana en comptes del bloqueig automàtic. Sigui quina sigui la decisió, ha de quedar documentada i passar pel punt 9 de la checklist (revisió legal).

Solució 3. (a) Fons abstractes: permès sense condicions especials; no representen res real ni influeixen en la percepció del producte; n'hi ha prou amb la política general de revisió abans de publicar. (b) Fitxes de producte fotorealistes "millorades": permès només amb condicions estrictes — la imatge no pot mostrar característiques que el producte real no té (això és publicitat enganyosa); s'ha de marcar com a imatge generada/retocada; revisió humana obligatòria comparant amb el producte real; en cas de dubte, usar la generada només com a imatge ambiental i mantenir fotos reals del producte. (c) Rostres de "clients satisfets": prohibit. Encara que les ressenyes siguin reals, associar-les a persones sintètiques presentades com a clients fabrica testimonis: enganya sobre la identitat de qui avala el producte, viola la regla 1 del marc (no presentar allò sintètic com a real quan influeix en la confiança) i s'acosta al territori deepfake que va motivar aquest apartat. L'alternativa legítima: mostrar les ressenyes sense rostre, o amb avatars clarament il·lustratius i etiquetats.

Hem convertit l'ètica d'una declaració d'intencions en un conjunt de pràctiques mesurables: el biaix es detecta desagregant mètriques per subgrups (els dos casos de TecnoMarket ho van demostrar: el global amaga el subgrup), es mitiga actuant sobre dades, pesos o llindars —sabent que les nocions d'equitat competeixen entre si i cal triar-ne una conscientment—, l'opacitat es combat amb explicabilitat tècnica i amb la cua de revisió humana que arrosseguem des de 03-04, la privadesa exigeix minimització i vigilar la memorització dels generatius, i el contingut sintètic —el deute de 05-01, per fi saldat— es governa amb quatre regles: no fer-lo passar per real, marcar-lo, revisar-lo i prohibir explícitament els usos inacceptables. Tot això cristal·litza en la checklist que ara acompanya cada desplegament de TecnoMarket. Però aquestes decisions d'equip passen dins d'un context molt més gran: el deep learning està transformant l'ocupació, l'economia i l'accés a la tecnologia a escala de societats senceres. Aquest és el zoom out de la propera lliçó: l'impacte social i econòmic del deep learning.