Immagina due persone. Stesso reddito, stesso contratto di lavoro, stessa età e stesso livello di istruzione. Insomma, caratteristiche quasi identiche, almeno sulla carta. Entrambe fanno richiesta di prestito a una banca: e la banca, supportata da strumenti di intelligenza artificiale, concede quel prestito a una di loro, mentre all’altra no. Non perché il suo profilo sia più rischioso, ma perché è una donna. No, non ti sto facendo un’ipotesi teorica: situazioni simili accadono spesso. Ecco perché oggi dobbiamo farci una domanda scomoda: perché l\’intelligenza artificiale discrimina? Che cosa succede quando affidiamo decisioni importanti a un algoritmo? E soprattutto: da dove arrivano questi pregiudizi?
Queste domande sono state al centro della conversazione che ho avuto nel mio podcast, Potenza Artificiale, con Tiziana Catarci, una delle voci più autorevoli in Italia sul rapporto tra intelligenza artificiale, etica e società. Una conversazione che non offre soluzioni facili, ma che ci costringe a fermarci per guardare più a fondo.
Il tema riguarda ognuno di noi e abbraccia ormai quasi ogni settore della nostra vita: dall\’accesso al credito alla selezione del personale, dalle valutazioni assicurative alle priorità sanitarie fino alla visibilità online. Ed è per questo che ho deciso di scriverne anche qui. Alla fine troverai anche una serie di domande e risposte riassuntive, una sintesi di questa conversazione: ma se avrai altre domande che non hanno trovato risposta, scrivimi nei commenti e confrontiamoci.
Ciao! Sono Teresa, sono una giornalista professionista e supporto i freelance nei loro progetti editoriali e nell’uso etico dell’intelligenza artificiale generativa, attraverso consulenze, mentoring e corsi. Ho vissuto a Damasco prima e durante l’inizio della guerra civile – che ho raccontato nel podcast Ponti Invisibili. Nell’ottobre 2024 il mio podcast Merce di Scambio, una indagine giornalistica sulla compravendita di organi, ha vinto il premio Pod24 del Sole 24Ore come miglior podcast indipendente di reportage e inchiesta.
Sono socia fondatrice dell’Associazione Constructive Network e faccio parte di JournalismAI, rete di giornalisti che usano l’IA in modo etico, della London School of Economics.
Cliccando QUI scarichi una risorsa con tante idee per usare l\’IA nel tuo lavoro ed entri in Connessioni con me, la mia newsletter settimanale.
Perché l’intelligenza artificiale discrimina?
Parlare di neutralità dell’intelligenza artificiale è uno degli equivoci più diffusi e più pericolosi in circolo oggi. L’idea che una macchina, proprio in quanto macchina, sia automaticamente imparziale può forse essere rassicurante. Ci permette di credere che delegare le decisioni agli algoritmi significhi eliminare errori, emozioni, discriminazioni. Ma questa idea non regge alla prova dei fatti.
L’intelligenza artificiale altro non è che una tecnologia progettata da persone e aziende, con obiettivi economici ben precisi e viene addestrata sui contenuti prodotti dagli esseri umani. Quei contenuti contengono dati e quei dati raccontano una storia: la nostra.
Torniamo all\’esempio del prestito. Se per decenni le donne hanno avuto meno accesso al credito, meno opportunità lavorative, stipendi più bassi, carriere più discontinue, quei numeri finiscono nei dataset. E quando un sistema di IA impara da quei dati, non fa altro che replicare e rendere sistematiche disuguaglianze già esistenti.
Non è un caso che il Parlamento Europeo, nell\’AI Act, abbia inserito obblighi specifici sui sistemi ad alto rischio, proprio per evitare discriminazioni sistemiche. O che studi del MIT (il Massachussets Institute of Technology) abbiano documentato come i sistemi di riconoscimento facciale abbiano tassi di errore fino al 34% più alti su donne con pelle scura, rispetto a uomini con pelle chiara. Non è un problema tecnico. È un problema di dati. E di scelte.
Non possiamo più dire che l’algoritmo sbaglia. Dobbiamo piuttosto chiederci perché sbaglia in quel modo. E soprattutto chi ha deciso che quei dati e quelle metriche fossero accettabili, tanto da renderli parametri affidabili. Nel mio lavoro di giornalista mi capita spesso di notare come il dibattito sull’IA si concentri sugli strumenti, sulle performance, sull’efficienza. Molto meno su ciò che viene dato per scontato: il fatto che ogni sistema tecnologico è anche una scelta di valori. Ed è esattamente da questo punto che Tiziana Catarci, ha iniziato a smontare il mito dell’algoritmo neutrale.
Tiziana Catarci è una delle 100 esperte STEM italiane.
È professoressa ordinaria del Dipartimento di Ingegneria Informatica, Automatica e Gestionale dell’Università Sapienza di Roma. È anche presidente di Sipeia (Società Italiana per l\’Etica dell\’Intelligenza Artificiale) e direttrice dell’Istituto di Scienze e Tecnologie della Cognizione del CNR.
Gli algoritmi non inventano pregiudizi
Una delle affermazioni più importanti emerse nella mia conversazione con Tiziana Catarci è anche una delle più fraintese quando si parla di intelligenza artificiale e discriminazione: Gli algoritmi non creano i pregiudizi dal nulla.
Quello che fanno è impararli, assorbirli dai dati su cui vengono addestrati e poi riversarli in ciò che generano. Se un sistema di IA “impara” che in passato i prestiti sono stati concessi più spesso agli uomini, tenderà a considerare quella distribuzione come un modello affidabile. Non perché stia facendo una scelta consapevole, dal momento che è soltanto una macchina, ma perché sta ottimizzando sulla base di ciò che ha visto.
Il punto chiave, come sottolinea Catarci, è che i dati non sono mai neutrali: sono il risultato di decisioni umane, di rapporti di potere, di contesti storici e sociali specifici. E quando quei dati diventano la base per decisioni automatizzate, il rischio è che le disuguaglianze non solo persistano, ma vengano normalizzate.
Perché correggere l’algoritmo non basta
Davanti a casi di discriminazione algoritmica, la risposta più comune è: va aggustato il modello. Si cambia qualche variabile, si bilanciano i dataset e così via. Eppure, “Pensare che la questione dei pregiudizi possa essere risolta esclusivamente a livello tecnico, significa ignorare il nodo centrale: le scelte che si fanno a monte”, sottolinea TIziana Catarci,
Domande come chi decide quali dati usare o chi definisce che cosa significhi successo per un algoritmo, sono domande che non riguardano solo sviluppatori e ricercatori, ma anche aziende, istituzioni pubbliche, organizzazioni e, in ultima istanza, noi cittadini.
Quando il pregiudizio diventa sistema
Un altro punto centrale della conversazione con Tiziana Catarci riguarda la scala, la portata. Un essere umano può discriminare una persona alla volta. Un algoritmo può farlo su migliaia, milioni di casi, ovviamente senza stancarsi, senza dubitare, senza fermarsi.
È questo il salto di qualità che rende l’intelligenza artificiale diversa da qualsiasi altro strumento usato in passato:
la capacità di trasformare un pregiudizio individuale o strutturale in regola automatica. Ed è proprio quando una decisione arriva da un sistema automatizzato, tendiamo ad accettarla più facilmente. La percepiamo come tecnica e quindi inevitabile – come se non fosse più negoziabile.
Nel dialogo con Tiziana Catarci, questo punto emerge con forza: il rischio non è solo che l’IA discrimini, ma che lo faccia senza che ce ne rendiamo conto, nascondendo il pregiudizio dietro formule, punteggi, modelli predittivi. Ed è proprio per questo che continuare a parlare di stereotipi e intelligenza artificiale non è un esercizio accademico, ma una necessità urgente.
Delegare le decisioni a un algoritmo
Uno dei passaggi più delicati e meno discussi, quando si parla di intelligenza artificiale, è la delega. Delegare a un sistema automatizzato una decisione complessa viene spesso presentato come una scelta razionale perché, per esempio, è:
- Più veloce
- Più efficiente
- Apparentemente più oggettiva
Ma come abbiamo visto, questa delega non è mai neutra. Anzi, spesso è una scorciatoia. Delegare a un algoritmo non significa eliminare la responsabilità. Significa spostarla, renderla meno visibile, più difficile da rintracciare.
Nel mio lavoro di giornalista, ma soprattutto quando faccio formazione, mi è capitato di incontrare aziende che scelgono di utilizzare strumenti di intelligenza artificiale per decidere meglio. E per carità, non c\’è nulla di male in questo, anche io uso l\’IA in analisi strategiche. Ma la domanda che mi sento di fare in questi casi, perché la faccio a me stessa, è: Si desidera davvero decidere meglio, o si sta cercando di non decidere affatto? Di non assumersi fino in fondo il peso delle conseguenze di una scelta?
Se l’algoritmo diventa un alibi
C’è una frase che torna spesso, in forme diverse, quando si parla di sistemi automatizzati:
Non lo diciamo noi, lo dice il sistema.
È una frase tanto rassicurante quanto pericolosa. Perché dietro ogni algoritmo ci sono criteri scelti da qualcuno, soglie decise da qualcuno, priorità stabilite da qualcuno che non sei tu.
Eppure, quando una decisione arriva dalla macchina, tendiamo a percepirla come inevitabile: tecnica e non discutibile. Questo meccanismo è particolarmente evidente nei contesti ad alto impatto: pensiamo al credito, alla selezione del personale alla sanità o all\’istruzione. Ambiti in cui una decisione può davvero cambiare radicalmente una vita.
Ed è qui che, come sottolinea Catarci, il rischio non è solo quello di automatizzare l’errore, ma di istituzionalizzarlo.
Perché questa conversazione è diversa?
Il dibattito sull’intelligenza artificiale è ancora caratterizzato da due narrazioni opposte e ugualmente limitanti:
da una parte l’IA come soluzione a tutti i problemi, dall’altra come minaccia. Entrambe hanno una cosa in comune: semplificano.
La conversazione con TIziana Catarci va in un’altra direzione: non si ferma alla superficie.
Oltre il binomio IA buona vs IA cattiva
L’intelligenza artificiale non è né buona né cattiva in sé. È un amplificatore. Per esempio amplifica:
- i dati che le forniamo
- le priorità che scegliamo
- i valori (espliciti o impliciti) che guidano le decisioni
Questo significa che ogni volta che parliamo di stereotipi e pregiudizi nell’IA, stiamo in realtà parlando di noi, delle nostre strutture sociali e culturali e dei nostri sistemi economici.
Nel mio lavoro di giornalista mi confronto spesso con il bisogno di semplificare per rendere accessibili temi complessi e ammetto che questa è una cosa che amo fare: perché mette tutti nelle condizioni di capire e, quindi, di scegliere. Ma c’è una linea sottile tra semplificare e svuotare di senso. Ed è proprio quella linea che, nel dibattito sull’IA, viene superata troppo spesso.
Perché i bias dell’IA riguardano tutti
C’è un ultimo punto che rende urgenti questo tipo di conversazioni: l’idea, ancora molto diffusa, che questi temi riguardino solo chi lavora nel tech. Non è così.
Riguardano me, te, chiunque comunichi in qualsiasi forma. E naturalmente chi informa, chi progetta servizi chi si occupa di educazione…
Ed è per questo che continuare a parlare di stereotipi e pregiudizi nell’intelligenza artificiale non è un esercizio teorico, ma un atto di responsabilità collettiva.
Portiamo fuori questi temi
Ci sono temi che funzionano bene come articoli da leggere velocemente. E poi ci sono conversazioni che hanno bisogno di tempo e di voce, di essere ascoltate e non solo consumate. Quella che ho avuto con Tiziana Catarci appartiene senza dubbio alla seconda categoria.
Perché parlare di stereotipi e pregiudizi nell’intelligenza artificiale significa interrogarsi su chi decide, per chi e secondo quali criteri. E su cosa accade quando queste decisioni vengono automatizzate, rese opache, sottratte al confronto pubblico.
Negli ultimi anni abbiamo iniziato a delegare sempre più scelte a sistemi automatizzati, spesso in nome dell’efficienza.
Ma c’è una domanda che continuiamo a rimandare:
Che tipo di società stiamo costruendo, quando smettiamo di interrogarci sulle decisioni che prendiamo, o che lasciamo prendere alle macchine?
Se accettiamo che un algoritmo discrimini perché i dati dicono così, stiamo rinunciando a una parte fondamentale del nostro ruolo civile. Se smettiamo di chiederci perché una decisione viene presa in un certo modo, non stiamo usando la tecnologia, stiamo normalizzando il pregiudizio.
Ed è qui che, personalmente e al di là dei miei ruoli professionali, sento che il punto sia riportare il dibattito dove deve stare: nelle scelte, nei valori, nelle responsabilità. Non solo nell\’uso che facciamo dei tool.
E se vogliamo davvero usare l’intelligenza artificiale in modo utile ed etico insieme, dobbiamo essere disposti a fare una cosa che nessun algoritmo può fare al posto nostro: assumerci la responsabilità delle decisioni che prendiamo. Anche quando è scomodo.
https://www.youtube.com/watch?v=nvsUb2mWqdw\u0026list=PLPUX1H3dWxrp0wbXAiX24CUP5sV3Q8zlIz
Le domande più frequenti sui bias dell’IA
L’IA discrimina davvero?
Sì, può farlo. Non perché “decida” di discriminare, ma perché apprende da dati che riflettono disuguaglianze storiche e sociali. Se in passato donne o minoranze hanno avuto meno accesso al credito, al lavoro o a determinate opportunità, un sistema di intelligenza artificiale addestrato su quei dati tenderà a replicare – e amplificare – quegli stessi schemi. Il problema non è solo l’errore, ma la sua sistematicità.
Perché gli algoritmi possono penalizzare certi gruppi sociali?
Perché gli algoritmi imparano da dati che non sono neutri. I dataset raccontano decisioni umane prese in contesti specifici: economici, culturali, politici. Quando queste decisioni diventano la base per sistemi automatizzati, i pregiudizi non vengono messi in discussione, ma trasformati in regole operative. È quello che succede, ad esempio, nei casi di concessione di prestiti, selezione del personale o valutazioni assicurative.
I pregiudizi dell’IA sono un problema tecnico o sociale?
Sono entrambi e non possono essere risolti solo a livello tecnico. La questione dei bias nell’IA è quindi soprattutto una questione di responsabilità umana e di governance.
Chi è responsabile di decisioni prese con l’uso dell’IA?
La responsabilità è delle persone e delle organizzazioni che prendono quelle decisioni. Dire lo ha deciso il sistema non elimina la responsabilità, la rende solo meno visibile. Ed è proprio questo uno dei rischi principali dell’automazione delle decisioni.
È possibile usare l’IA in modo etico?
Certo, a determinate condizioni. Un uso etico e responsabile dell’IA richiede, fra l\’altro, trasparenza sui dati, supervisione umana (reale) e consapevolezza dei limiti della tecnologia. L’IA può supportare le decisioni, ma non può sostituire il giudizio e la responsabilità umana.
Perché i bias dell’IA riguardano tutti?
Perché l’intelligenza artificiale incide sempre più spesso su aspetti concreti della vita quotidiana: lavoro, credito, servizi pubblici, sanità, istruzione, informazione.
Qual è il ruolo dei giornalisti nel raccontare l’IA?
Il giornalismo ha un ruolo centrale: non solo spiegare come funzionano gli strumenti, ma mettere in discussione le scelte che li governano.