Un algoritmo sbagliato crea razzismo nell’intelligenza artificiale

Il pregiudizio razziale dell’algoritmo sanitario. Un software usato negli Stati Uniti per indirizzare i pazienti a cure sanitarie più intense discrimina i soggetti di colore. La scoperta sottolinea la necessità di un’attenta revisione dei metodi automatizzati che incidono sulla vita delle persone e di una profonda conoscenza degli ambiti in cui vengono applicati.

Un algoritmo ampiamente utilizzato negli ospedali statunitensi per offrire assistenza sanitaria ai pazienti ha sistematicamente discriminato le persone di colore, secondo un’analisi approfondita.

Lo studio, pubblicato su “Science”, ha concluso che l’algoritmo aveva meno probabilità di arruolare i neri rispetto a bianchi ugualmente malati in programmi che mirano a migliorare l’assistenza ai pazienti con bisogni medici complessi. Ospedali e assicurazioni usano questo algoritmo e altri simili per aiutare a gestire le cure di circa 200 milioni di persone negli Stati Uniti ogni anno.

Questo tipo di analisi è raro, perché i ricercatori non riescono spesso ad accedere agli algoritmi proprietari e alle serie di dati sanitari sensibili necessari per una loro verifica approfondita, afferma Milena Gianfrancesco, epidemiologa dell’Università della California a San Francisco, che ha studiato le fonti di pregiudizi nelle cartelle cliniche elettroniche. Ma studi più limitati e relazioni aneddotiche hanno documentato processi decisionali fallaci e distorti in algoritmi utilizzati in ogni campo, dalla giustizia penale all’istruzione, fino all’assistenza sanitaria.

“È allarmante”, afferma Gianfrancesco commentando l’ultimo studio. “Abbiamo bisogno di un modo migliore per valutare effettivamente la salute dei pazienti”.

Ziad Obermeyer, che studia apprendimento automatico e gestione della sanità presso l’Università della California a Berkeley, e il suo gruppo, si sono imbattuti nel problema esaminando l’impatto di programmi che offrono risorse aggiuntive e una supervisione medica più stretta alle persone con vari problemi di salute, a volte concomitanti.

Esaminare i presupposti
Quando Obermeyer e i suoi colleghi hanno eseguito controlli statistici di routine sui dati ricevuti da un grande ospedale, sono rimasti sorpresi di scoprire che alle persone che si auto-identificavano come nere erano generalmente assegnati punteggi di rischio più bassi rispetto ai bianchi ugualmente malati. Di conseguenza, le persone di colore avevano meno probabilità di essere indirizzate ai programmi che forniscono cure più personalizzate.

I ricercatori hanno scoperto che l’algoritmo assegnava i punteggi di rischio ai pazienti sulla base dei costi sanitari totali che avevano maturato in un anno. Dicono che questa ipotesi potrebbe essere sembrata ragionevole perché costi di assistenza sanitaria più elevati sono generalmente associati a maggiori problemi di salute. E nell’insieme di dati utilizzato dai ricercatori, le persone di colore avevano mediamente costi sanitari generali simili a quelli dei bianchi.

Ma uno sguardo più attento ai dati ha rivelato anche che in media una persona di colore era molto più malata della persona bianca media, con una maggiore prevalenza di condizioni come diabete, anemia, insufficienza renale e ipertensione. Nel loro insieme, i dati hanno mostrato che le cure fornite ai neri costano in media 1.800 dollari in meno all’anno rispetto a quelle fornite a un bianco con lo stesso numero di problemi di salute cronici. Gli scienziati ipotizzano che questo accesso ridotto alle cure sia dovuto agli effetti di un razzismo sistemico, che vanno dalla sfiducia nei confronti del sistema sanitario alla discriminazione razziale diretta da parte degli operatori sanitari.

E poiché l’algoritmo ha assegnato i soggetti a categorie ad alto rischio sulla base dei costi, questi errori sistematici si sono riverberati nei suoi risultati: i neri dovevano essere più malati dei bianchi per essere indirizzati a un ulteriore intervento di aiuto. Era nero solo il 17,7 per cento dei pazienti che l’algoritmo ha assegnato a ricevere cure extra. I ricercatori calcolano che, se l’algoritmo fosse stato imparziale, la quota sarebbe stata del 46,5 per cento.

Cercare soluzioni
Quando Obermeyer e il suo gruppo hanno riferito le loro scoperte agli sviluppatori dell’algoritmo, la società ha ripetuto l’analisi e ha trovato gli stessi risultati. Obermeyer sta lavorando a titolo gratuito con l’azienda, di cui non ha voluto rivelare il nome, per migliorare l’algoritmo.

Lui e il suo team hanno collaborato con l’azienda per cercare variabili, diverse dai costi sanitari, che possano essere usate per calcolare i bisogni sanitari di una persona e hanno ripetuto la loro analisi dopo aver modificato di conseguenza l’algoritmo. Hanno scoperto che apportare queste modifiche ha ridotto la distorsione dell’84 per cento.

“Abbiamo apprezzato il lavoro dei ricercatori”, ha commentato Optum in una nota. Ma la società ha aggiunto che considera le loro conclusioni fuorvianti. “Il modello basato sui costi è solo uno dei molti elementi di dati utilizzati con l’obiettivo di selezionare i pazienti per l’inclusione in programmi clinici: tra i più importanti di questi elementi vi è la competenza del medico”.

Obermeyer sostiene che usare la previsione di costi per prendere decisioni sul coinvolgimento del paziente è un problema molto diffuso. “È un problema che non riguarda un algoritmo o una società, ma il modo in cui il nostro intero sistema affronta la questione”.

Ma trovare queste soluzioni per le distorsioni degli algoritmi – nella sanità e non solo – non è semplice, afferma Obermeyer. “Queste soluzioni sono facili in termini d’ingegneria del software: è sufficiente rieseguire l’algoritmo con un’altra variabile”, afferma. “La parte difficile è rispondere alle domande: ‘Qual è quest’altra variabile?’, ‘Come si aggirano il pregiudizio e l’ingiustizia insiti nella società?’”

Ciò è in parte dovuto alla mancanza di diversità etnica tra i progettisti di algoritmi e alla mancanza di formazione sul contesto sociale e storico del loro lavoro, afferma Ruha Benjamin, autore di Race After Technology (2019) e sociologo all’Università di Princeton, nel New Jersey.

“Non possiamo fare affidamento sulle persone che attualmente progettano questi sistemi per anticipare o mitigare completamente tutti i danni associati all’automazione”, afferma.

Gli sviluppatori dovrebbero eseguire regolarmente test come quelli del gruppo di Obermeyer prima di implementare un algoritmo in grado d’influire sulla vite umane, afferma Rayid Ghani, informatico della Carnegie Mellon University di Pittsburgh, in Pennsylvania. Quel tipo di revisione è più comune ora, dice, poiché i rapporti suelle distorsioni presenti negli algoritmi sono diventati più diffusi.

“‘Lo stanno facendo più persone del solito?’ ‘Sì’”, sottolinea Ghani. “‘Sono abbastanza persone a farlo?’ ‘No’.” Egli ritiene che i risultati di queste revisioni debbano sempre essere confrontati con il processo decisionale umano prima di presumere che un algoritmo stia peggiorando le cose. Ghani afferma che il suo gruppo ha condotto analisi non ancora pubblicate confrontando gli algoritmi utilizzati in sanità pubblica, giustizia penale e istruzione con il processo decisionale umano. Ha così scoperto che i sistemi di apprendimento automatico erano affetti da errori sistematici, ma meno delle persone.

“Stiamo ancora usando algoritmi cosiddetti umani che sono davvero distorti”, afferma Ghani. “Li abbiamo testati e sappiamo che sono pessimi, ma li usiamo ancora per prendere decisioni davvero importanti ogni giorno”.

(L’originale di questo articolo è stato pubblicato su “Nature” il 24 ottobre 2019. Traduzione ed editing a cura di Le Scienze. Riproduzione autorizzata, tutti i diritti riservati.)