Da un twitter divenuto virale nel 2019 si è venuti a conoscenza del fatto che Goldman Sachs, una delle più importanti banche d’investimento del mondo, aveva escluso una potenziale cliente dall’accesso a una prestigiosa ed esclusiva Apple card in base a una profilazione erronea e discriminatoria. Il fatto si è saputo perché l’autore del twitter, un danese sviluppatore di software, è il marito della persona a cui era stata negata la card, che lui invece aveva ottenuto pur guadagnando meno di lei. In sostanza, la donna per ragioni opache e non trasparenti era stata considerata non idonea per quel determinato prodotto.
Discriminazioni di genere
Se non ci fosse stato quel twitter non si sarebbe saputo nulla di tutto ciò, ovvero di una sistematica e silenziosa discriminazione di genere. La vicenda rappresenta una plastica esemplificazione della nota metafora del cosiddetto “soffitto di cristallo”: la possibilità che una donna ha di poter scalare il potere o di avere pari opportunità di carriera è spesso preclusa da una sorta di soffitto trasparente, che costituisce una barriera invisibile eppure potente e limitante. Per ragioni imperscrutabili, non esplicitate chiaramente e senza la possibilità di entrare nel merito, gli algoritmi rischiano di attuare politiche discriminatorie, che si supponeva dovessero appartenere al passato e non alle tecnologie del futuro. La rappresentazione, l’interpretazione e la codificazione degli esseri umani attraverso dataset di training e le modalità con cui i sistemi tecnologici raccolgono, etichettano e utilizzano questi materiali sono aspetti decisamente cruciali nel riprodurre stereotipi, pregiudizi, forme di discriminazione di genere o razziale. I bias trovano sempre una strada per inserirsi nel sistema, o meglio in un certo senso i bias fanno parte del sistema. A questo proposito, è noto che fino al 2015 Amazon reclutasse i suoi futuri dipendenti tramite un sistema che si era “allenato” sui curricula, in genere di uomini, ricevuti nei dieci anni precedenti. I modelli avevano quindi imparato a raccomandare gli uomini, autoalimentando e amplificando le disuguaglianze di genere dietro la facciata di una supposta neutralità tecnica. Tanto per fare un esempio, il curriculum di un aspirante dipendente di Amazon veniva scartato se al suo interno conteneva la parola “donna”, perché il sistema aveva imparato a gestire di dati così (Dastin 2018).
Il razzismo dell’IA
L’IA produce e riflette le relazioni sociali, una determinata visione del mondo e, inevitabilmente, i rapporti economici e di potere, visto il notevole capitale in termini finanziari che occorre per investire in essa. Basti pensare che i sistemi di riconoscimento facciale, che contribuiscono fortemente a etichettare la realtà e gli umani, derivano dai primi tentativi sperimentali della Cia e dell’FBI negli anni Sessanta, passando per i database basati sulle immagini dei carcerati, per arrivare all’epoca attuale, dove i principali sistemi di questo tipo sono alimentati da volti e scatti liberamente messi in circolazione sui social (Crawford 2021:105-135). Ovviamente l’accresciuta complessità tecnologica e il suo considerevole impatto sociale hanno fatto emergere anche i tratti più controversi dell’IA, a cominciare dai pregiudizi automaticamente inseriti nei dataset utilizzati per nutrire l’intelligenza artificiale. Si pensi al fatto che c’è stato un lungo dibattito sul riconoscimento facciale, in cui si è visto che è più difficile distinguere i neri, proprio perché i dataset di training si fondano prevalentemente su materiale fotografico di bianchi, raccolto e categorizzato soprattutto da bianchi.
Le differenze razziali, culturali e di genere sono elementi che non si limitano ad affiancarsi o a sommarsi uno sull’altro, ma interagiscono producendo nuove e incomparabili forme di segregazione e di assoggettamento, che si stratificano su vecchi e consumati stereotipi e discriminazioni. A questo riguardo, sui media ha molto circolato la storia di un’afroamericana che non riusciva ad avere il mutuo per acquistare una casa e non si capiva perché, visto che aveva un buon lavoro in una università americana; finché non è apparso chiaro che ciò dipendeva dal quartiere afroamericano in cui abitava e dal suo essere afroamericana (Glantz, Martinez, 2018). In pratica, l’IA acuiva le asimmetrie già esistenti riguardo i singoli gruppi umani a partire dalla loro supposta affidabilità in termini creditizi. Limitando le chance di un futuro migliore si perpetua e “naturalizza” un razzismo esistente e conclamato seppure mai apertamente dichiarato.
Secondo la scienziata esperta in intelligenza artificiale Timnit Gebru e la studiosa di linguistica computazionale Emily Bender un gigante come Google riafferma e ratifica continuamente le disuguaglianze. Ad esempio, il suo programma di riconoscimento facciale è meno accurato nell’identificare le donne e le persone di colore (Hao 2020). Gli algoritmi, concepiti a partire da tecnologie innovative, possono convalidare forme di razzismo istituzionalizzato. Addirittura in uno studio dell’Università del Maryland è stato riscontrato che in alcuni software di riconoscimento facciale le emozioni negative vengono maggiormente attribuite ai neri piuttosto che ai bianchi (Crawford, 2021:197).
Il contesto socio-culturale dell’IA
Lo sviluppo esponenziale dell’IA ha in qualche maniera obbligato a ragionare su determinati aspetti, come quelli per così dire più umani delle machine learning. Gli stereotipi, le forme di discriminazione e di razzismo infatti vengono automaticamente appresi e inseriti nei dataset, ma questi ovviamente erano e sono già presenti in internet e nella realtà quotidiana al di là della IA. Per cui bisogna tornare a monte, appunto. Di cosa si nutre l’IA? Chi costruisce l’intelligenza artificiale? Perché è ovvio che non si tratta di semplicemente di correggere errori una volta che emergono, come il caso dei curricula di Amazon o della Apple card di Goldman Sachs. Le immagini inserite nei dataset basati sulla visione artificiale per il riconoscimento degli oggetti, nel categorizzare i generi si ritrovano a organizzare, etichettare ad esempio foto in cui gli uomini sono spesso stati fotografati outdoor presi in qualche attività sportiva e con oggetti relativi allo sport e le donne prevalentemente in cucina con qualche utensile relativo al cucinare (Wang, A., Liu, A., Zhang, R., Kleiman, A., Kim, L., Zhao, D.,Shirai, I. Narayanan, A. Russakovsky, O., 2021: 9). Questo dato è di per sé rilevante e in qualche modo va analizzato perché i bias sono già incapsulati nel sistema.
Fei-Fei Li, un’esperta di visione artificiale che si occupa anche di debiasing, come ridurre i bias che i dataset tendono ad inglobare, afferma che le conseguenze della attuale situazione sono “dataset non sufficientemente diversificati, compreso quello di ImageNet [a cui la stessa Li ha lavorato, n.d.a.], esacerbate da algoritmi testati male e decisioni discutibili. Quando internet presenta un’immagine prevalentemente bianca, occidentale e spesso maschile della vita quotidiana, ci resta una tecnologia che fatica a dare un senso a tutti gli altri” (Li, 2024: 253). I dataset riflettono anche una concezione del mondo fortemente ancorata a quella di coloro che ci lavorano.
È interessante sapere che, secondo il Guardian, nel team di Sam Altman il 75% dei dipendenti di OpenAI è uomo (Kassova, 2023). E la domanda che inevitabilmente sorge è: quali sono le conseguenze di una IA sviluppata senza la piena partecipazione delle donne, delle minoranze e di Paesi non occidentali? Perché allo stato attuale è ovvio che la loro mancanza di rappresentanza nel settore tech ha come conseguenza che gli algoritmi funzionano male con coloro che non sono bianchi e maschi.
L’IA e il marchio del capitalismo
Le altre domande altrettanto cruciali sono: per chi è fatta l’IA? Chi possiede i dataset e che uso ne fa? E qua ovviamente entra in gioco anche la democrazia sulla trasparenza e l’etica della non discriminazione. Uno degli elementi chiave riguardo i dati è che sono presi senza contesto e senza consenso. Nick Couldry e Ulises Mejias (2022) fanno un interessante parallelismo tra epoca coloniale e società attuale. Se nell’epoca del colonialismo, il potere agiva in maniera estrattiva, ovvero i colonizzatori spoliavano i paesi colonizzati di materie prime preziose e di forza lavoro (tramite lo schiavismo), i corrispettivi contemporanei per profitto estraggono dati senza chiedere il consenso ai legittimi possessori, come nel caso di Midjourney che, come recentemente emerso in una class action promossa da alcuni artisti americani, ha utilizzato le opere di 16.000 artisti senza chiedere il consenso e aggirando il copyright. I maggiori giganti tecnologici sono costantemente e voracemente in cerca di enormi quantità di dati per alimentare e allenare i sistemi di intelligenza artificiale (Metz, C., Kang, C., Frenkel, S., Thompson, S.A., Grant, N., 2024). Internet è stato concepito da coloro che operano nel settore dell’IA come una sorta di risorsa naturale, disponibile da cui si possono estrarre dati a piacimento. Il colonialismo dei dati è un ordine sociale emergente basato su un nuovo tentativo di impadronirsi delle risorse del mondo a beneficio di alcune élite, come era avvenuto in passato con il “classico” colonialismo. C’è una continuità profonda nei metodi di acquisizione, negli atteggiamenti mentali, nelle forme di esclusione e di preservazione del potere. È incredibile come ciò sia a volte incastonato in qualche biografia emblematica: Elon Musk, ad esempio, ha un padre che è stato proprietario di una miniera di smeraldi in Zambia. In famiglia la forma di colonizzazione si è solo evoluta con i tempi e con le tecnologie, ma il marchio è lo stesso.
L’intelligenza artificiale, come un tempo il colonialismo, genera valore in modo iniquo e asimmetrico, impattando negativamente su molte persone, non importa se le definiamo in termini di razza, classe o genere, o tramite l’intersezione di tutte queste categorie.
E renderla più inclusiva non sarà una battaglia facile.
RIFERIMENTI BIBLIOGRAFICI
Crawford, K. (2021), Né intelligente né artificiale: il lato oscuro della IA, Il Mulino, Bologna.
Couldry, N., Mejias, U.A. (2022), il prezzo della connessione: Come i dati colonizzano la nostra vita e se ne appropriano per fare soldi, Il Mulino, Bologna.
Dastin, J. (2018), “Amazon Scraps Secret AI Recruiting Tool That Showed Bias against Women”, in Reuters, October 11.
Glantz, A., Martinez of Reveal, E. (2018), “Kept out: How Banks Block People of Color from Homeownership, APnews, February 15.
Hao, K. (2020), “We Read the Paper That Forced Timnit Gebru Out of Google. Here’s What It Says”, in MIT Technology Review, December 4.
Kassova, L. (2023) “Where are All the ‘Godmothers’ of AI? Women’s Voices are not being Heard”, The Guardian, November 25.
Li, F.F, (2024), Tutti i mondi che vedo, Luiss University Press, Roma.
Metz, C., Kang, C., Frenkel, S., Thompson, S.A., Grant, N. (2024), “How Tech Giants Cuts Corners to Harvest Data for A.I.”, The New York Times, April 6.
Telford, T. (2019), “Apple Card algorithm sparks gender bias allegations against Goldman Sachs”, Washington Post, November 11.
Wang, A., Liu, A., Zhang, R., Kleiman, A., Kim, L., Zhao, D., Shirai, I. Narayanan, A. Russakovsky, O., (2021,“A Tool for Misuring and Mitigating Bias in Visual Dataset”, arXiv: 2004.07999v4 [cs.CV] 23 Jul 2021.