La black box di un futuro creato con l’intelligenza artificiale

Il vicolo cieco delle profezie dell’algoritmo. Invece di prevedere il futuro, i sistemi predittivi di IA rischiano di riproporre il passato a oltranza: una lettura di Le macchine di Dio di Helga Nowotny.

A partire dal Diciassettesimo secolo, la nostra società iniziò ad affrontare una profonda trasformazione. Una trasformazione che fu, a sua volta, la conseguenza delle scoperte e dei progressi scientifici, filosofici, industriali, meccanici e tecnologici che si succedettero a un’impressionante rapidità, generando nuove idee e nuove richieste: libertà individuale, tolleranza religiosa, uguaglianza. Gli orizzonti mentali si ampliarono mentre le distanze geografiche, grazie ai nuovi mezzi di trasporto, si ridussero. Rivoluzione scientifica e industriale. Rivoluzioni politiche (particolarmente in Francia e negli Stati Uniti). Illuminismo. È un’epoca spartiacque che provoca un cambiamento concettuale nel modo in cui viene concepito il futuro, che smette per la prima volta di essere visto come qualcosa di largamente predeterminato. Diventiamo noi gli artefici del nostro destino, come mai avevamo pensato di esserlo nei secoli e nei millenni precedenti. Per la prima volta, il domani viene visto come un orizzonte aperto.

“L’esperienza del passato, con il suo ritmo lento e le ridotte possibilità offerte dalla vita – che si limitavano a ereditare quelle della generazione precedente –, ha lasciato spazio all’idea che la vita delle persone potesse essere differente, generando l’aspirazione a un futuro che potesse divergere dal passato”, scrive Helga Nowotny in Le macchine di Dio (di cui ho curato la traduzione per Luiss University Press). Quella che inizia a formarsi è una concezione radicale, secondo cui siamo almeno in parte in grado di controllare il futuro, invece di essere vittime di un destino ineludibile.

Avanti veloce di quattro secoli e oggi rischiamo di trovarci di fronte a un nuovo radicale cambiamento. Nel suo saggio Nowotny indaga infatti l’impatto che gli algoritmi di intelligenza artificiale – e le tecnologie digitali nel complesso – stanno avendo sulle nostre vite. Stiamo vivendo, scrive, una sorta di restaurazione della nostra concezione del futuro, scatenata proprio dalla cieca fiducia nei confronti dell’intelligenza artificiale. Attenzione: Nowotny non fa riferimento qui ai (mal riposti) timori che dai calcoli statistici del deep learning (lo strumento che oggi è quasi sinonimo di intelligenza artificiale) emerga una superintelligenza, e nemmeno agli scenari fantascientifici di una IA “senziente” o “autocosciente”.

A minacciare una visione aperta del futuro sono, secondo Nowotny, gli algoritmi predittivi, strumenti sempre più diffusi in ogni ambito.

A minacciare una visione aperta del futuro sono piuttosto, secondo Nowotny, gli algoritmi predittivi: strumenti sempre più diffusi in ogni ambito – da quelli che indicano a chi erogare un mutuo a quelli che valutano i candidati per un posto di lavoro; da quelli che suggeriscono ai bambini il loro futuro professionale a quelli che dicono chi debba uscire di galera – e a cui stiamo attribuendo una responsabilità decisionale sempre maggiore.

“Più il processo decisionale viene però trasferito agli algoritmi predittivi, maggiore è il potere che essi eserciteranno, finché non saranno completamente radicati nel tessuto sociale della società. C’è il rischio di tornare a una visione deterministica della società”, scrive ancora Nowotny, che è docente emerita di studi scientifici e tecnologici all’ETH di Zurigo e già presidente dell’ERC (Consiglio Europeo della Ricerca). Ma perché corriamo questo rischio?

“Se il fato vuole ch’io diventi re, ebbene il fato mi può incoronare, senza ch’io abbia a muovere un sol dito”, afferma Macbeth dopo aver ascoltato la profezia che lo riguarda. Il ragionamento non fa una piega: se è stato profetizzato che io diventi re, non c’è bisogno che faccia assolutamente nulla e comunque lo diventerò. Eppure non è restando a guardare che Macbeth conquista il potere: proprio la profezia che teoricamente gli avrebbe permesso di diventare re “senza muoversi” fa invece sì che lui e Lady Macbeth mettano in moto una serie di eventi che lo incoroneranno Re di Scozia. È la più classica rappresentazione delle profezie che si auto-avverano.

Cambia qualcosa se a indicarci quale sarà il nostro futuro è un trio di streghe, come nella tragedia di Shakespeare, o un algoritmo predittivo basato sul deep learning? “Abbiamo a nostra disposizione strumenti molto efficienti che ci permettono di scrutare più lontano nel futuro, coprendo le dinamiche di un’ampia gamma di attività umane e di fenomeni naturali”, scrive Nowotny in Le macchine di Dio.

Il tentativo di prevedere il futuro minaccia da vicino il suo orizzonte aperto. Se circola ampiamente, una previsione che ha lo scopo di fare i conti con l’incertezza del futuro può rapidamente trasformarsi in una certezza che potrebbe rivelarsi illusoria […]. Se abbandonassimo il desiderio umano di conoscere e di capire cosa tiene insieme la nostra realtà, rischieremmo di creare un mondo chiuso e deterministico, gestito da efficienti macchine predittive il cui funzionamento interno resterebbe oscuro e il cui impatto su di noi non verrebbe nemmeno messo in discussione. Alla fine, rischiamo di essere trasformati noi stessi in un sistema predittivo. Il ritorno a una visione del mondo deterministica implicherebbe che l’orizzonte aperto del futuro ricominci a chiudersi. Significherebbe abbandonare una scoperta preziosa e conquistata a fatica, che risale solo a pochi secoli fa.

Non sono timori eccessivi? Nella società moderna in fondo utilizziamo già da tempo la statistica per prevedere il futuro (per esempio con l’andamento demografico, le previsioni meteo o l’aumento dei prezzi) senza che ciò influisca in modo significativo sulla nostra libertà quotidiana. La differenza con quanto sta avvenendo e avverrà sempre più con le previsioni algoritmiche, però, sta proprio nel passaggio da previsioni collettive a quelle individuali. È un aspetto fondamentale: gli algoritmi predittivi impiegati in ambito lavorativo non prevedono quali lavori avranno la maggior probabilità di diffondersi, ma se una singola persona sia o meno adatta a svolgerne uno in particolare. Gli algoritmi usati in ambito penitenziario non valutano la necessità di aumentare il numero delle carceri, ma decidono il destino di un singolo carcerato valutando il rischio – con tutto il carico di pregiudizi e di errori che questi strumenti si portano dietro – che il singolo commetta nuovamente dei reati. E lo stesso vale per la sanità, le assicurazioni, l’istruzione, gli acquisti e tutto il resto.

Da un certo punto di vista – e ritornando in parte anche al parallelismo con il Macbeth – i nuovi algoritmi predittivi, che non riguardando le medie e le tendenze ma prendono invece “di mira” i singoli, sembrano per molti versi un ritorno alle antiche pratiche divinatorie (come segnalato da Elena Esposito, docente di Sociologia all’Università di Bologna). Rituali e percorsi inafferrabili dai normali esseri umani. Gli algoritmi predittivi rappresentano strumenti di cui è impossibile sapere come siano giunti a una determinata conclusione, essendo il processo nascosto all’interno di miliardi di calcoli (è il celebre problema della black box). Non solo: è impossibile conoscere l’accuratezza delle previsioni algoritmiche, visto che esse si ripercuotono sul nostro comportamento provocando un adeguamento a esse. Per esempio, quando Facebook predice che un post diventerà virale – sulla base di ciò che ha avuto successo in passato – massimizza di conseguenza l’esposizione di quel post, rendendolo così virale e confermando quindi la sua “profezia”. E oscurando magari dei contenuti che, seguendo logiche diverse, avrebbero comunque potuto diffondersi a macchia d’olio.

Il cortocircuito tra passato e futuro

A spiegare nel modo più chiaro come gli algoritmi di deep learning, più che prevedere il futuro, creino un cortocircuito tra esso e il passato è forse lo strumento di intelligenza artificiale impiegato in una campagna di comunicazione della Smithsonian Institution per “insegnare a una macchina a pensare, agire e dipingere come Rembrandt”, dandole così la possibilità di “prevedere che aspetto avrebbe avuto il prossimo Rembrandt se fosse stato dipinto dal pittore stesso”.

È così che nasce “The Next Rembrandt”. Ma c’è un problema: questo quadro prodotto dalla IA non rappresenta affatto il prossimo Rembrandt. Per imparare a farlo, infatti, l’algoritmo ha ricevuto in pasto tutti i ritratti e autoritratti per cui era celebre il maestro olandese. A furia di analizzarne i tratti caratteristici – che nel linguaggio algoritmico diventano i pattern, ovvero gli elementi ricorrenti – l’intelligenza artificiale ha imparato a generare questi stessi tratti per creare un quadro nello stile di Rembrandt. Non c’è nessuna previsione di come sarebbe stato fatto il “prossimo Rembrandt”, ma soltanto un colossale taglia e cuci statistico delle precedenti opere del pittore seicentesco.

In poche parole, più che una previsione sul futuro è una riproposizione del passato, priva – scrive Nowotny – di quelle “fratture e discontinuità che segnano il grande processo creativo e che ci permettono di riconoscere come le tensioni interne al lavoro di un artista evolvono e vengono negoziate. La creatività irrompe laddove l’imprevedibile fa il suo ingresso in un’opera d’arte”. Tutto ciò non può essere integrato in un algoritmo, che si limita necessariamente – essendo statisticamente addestrato tramite dati – a riproporre una versione diversa di ciò che è già avvenuto in passato.

“Oggi, la previsione è fatta principalmente attraverso algoritmi di machine learning, che usano la statistica per riempire gli spazi lasciati vuoti dall’ignoto”, si legge in un articolo della docente di Filosofia Carissa Véliz su Wired USA. “Gli algoritmi testuali utilizzano enormi database linguistici per prevedere la conclusione più plausibile di una stringa di parole. Gli algoritmi dei giochi usano dati provenienti dalle partite del passato per prevedere quale possa essere la mossa migliore. E gli algoritmi che sono impiegati per il comportamento umano usano dati storici per inferire il nostro futuro: cosa compreremo, se stiamo o meno pianificando di cambiare lavoro, se stiamo per ammalarci, se stiamo per commettere un crimine o fare un incidente. In questo tipo di modello, le assicurazioni non riguardano più la condivisione del rischio tra ampi gruppi di persone. Al contrario, la previsione è diventata individualizzata”.

Gli algoritmi di deep learning, più che prevedere il futuro creano un cortocircuito tra il futuro e il passato.

Poiché si impiegano necessariamente dati provenienti dal passato per (cercare di) prevedere il futuro, il rischio è di continuare a riproporre il passato come modello del futuro, ripetendolo così all’infinito e cancellando la possibilità che le cose cambino. Se provenire da un quartiere svantaggiato di una città fa sì che un algoritmo predittivo aumenti il nostro punteggio relativo al “rischio criminalità”, e se questo aumentato “rischio criminalità” rende meno probabile essere scelti da un algoritmo che seleziona i migliori candidati per un posto di lavoro, ecco che si aumenta inevitabilmente la possibilità che la persona che proviene da una determinata zona non trovi lavori e magari caschi nelle maglie della criminalità.

Altro che prevedere il futuro, quello che si viene a creare è un vicolo cieco algoritmico. “Superare le probabilità è al cuore di ciò che significa essere umani”, prosegue Carissa Véliz. “I nostri più grandi eroi sono proprio quelli che hanno sconfitto le chance che gli erano state date: Abramo Lincoln, Mahatma Gandhi, Marie Curie, Helen Keller, Rosa Parks, Nelson Mandela e altri ancora. Il successo di tutti loro è andato ampiamente oltre le aspettative. Qualunque insegnante conosce un ragazzino o una ragazzina che ha conquistato più di ciò che le carte che aveva in mano facevano prevedere. (…) Eppure più usiamo la IA per categorizzare le persone, prevedere il loro futuro e trattarle di conseguenza, più riduciamo la libertà d’azione umana, che a sua volta ci esporrà a rischi inesplorati”.

Applicare i limiti degli algoritmi alle loro previsioni in ambito umano fa emergere un enorme problema etico: “Trattare una persona con rispetto significa riconoscere la sua agency e la sua capacità di cambiare se stessa e le sue circostanze”, prosegue ancora Véliz. “Se decidiamo che possiamo conoscere quale sarà il futuro di qualcuno molto prima che esso si verifichi, e lo trattiamo di conseguenza, gli stiamo negando l’opportunità di agire liberamente e di sconfiggere le chance di quella previsione”. Come si diceva all’inizio: profezie che si autoavverano.

Lo status quo degli algoritmi predittivi

Per arrivare agli scenari della serie tv distopica Westworld, dove Rehoboam, un’intelligenza artificiale avanzatissima, è in grado di prevedere puntualmente il percorso e l’esito delle nostre vite, la strada è ancora lunga. Ma è esattamente quella che abbiamo imboccato. Nel futuro di Westworld, venire marchiati da Rehoboam come “futuro suicida”  ha l’effetto di negare l’accesso a posizioni lavorative che potrebbero consentire di cambiare il proprio destino, rafforzando così il loop a cui siamo stati condannati. “I fondatori di questa macchina le hanno fornito i dati grezzi di chiunque, molto prima che ci fossero leggi sulla privacy”, si racconta in un dialogo della serie. “Ogni acquisto, ricerca lavorativa, visita medica, scelta romantica, chiamata, messaggio: ogni aspetto della tua vita è stato registrato e archiviato”. Rehoboam non conosce il futuro, ma prevede l’esito più probabile delle vite e crea di fatto le condizioni più adatte affinché quel futuro si verifichi. È fantascienza, ma sembra di ritrovare proprio i timori che Nowotny espone ​​nel suo libro.

Proviamo a immaginare ora di aver avuto tecnologie del genere già in passato. Come sarebbe cambiata la storia delle idee che invece abbiamo conosciuto? In una puntata del podcast di Mind Matters, Erik J. Larson, autore del saggio The Myth of Artificial Intelligence – propone un parallelo che riguarda l’astronomia: durante secoli di geocentrismo le osservazioni celesti avevano accumulato dati non affidabili. La nuova teoria eliocentrica di Copernico rivoluzionò tutto, e nel farlo si dovette scontrare proprio con quella massiccia mole di dati fallati accumulati nel tempo. È stato l’intuito di una mente umana che ha permesso lo scarto dallo status quo. “Come avrebbe potuto aiutarci l’intelligenza artificiale in questo caso?”, si chiede Larson. Non avrebbe fatto altro che continuare a rafforzare le conclusioni sbagliate ma solidificate nel tempo, e quindi a ottimizzare e confermare il modello geocentrico.

Lo stesso avviene oggi: gli algoritmi predittivi di intelligenza artificiale vengono impiegati per rafforzare il sistema in cui siamo immersi, non per aiutarci a cambiare ciò che in questo modello non funziona. “Gli algoritmi di auto-apprendimento non solo ci lasciano vedere nel futuro, possono anche venire addestrati per realizzare il futuro, coproducendolo con noi”, si legge ancora in Le macchine di Dio. Gli esempi sono numerosi, nella nostra nudge society, ovvero la “società del pungolo” che tramite notifiche e premi virtuali ci sprona a comportarci in un modo considerato “sano e produttivo”.

Gli algoritmi predittivi di intelligenza artificiale vengono impiegati per rafforzare il sistema in cui siamo immersi, non per aiutarci a cambiare ciò che in questo modello non funziona.

Uno tra tanti: LifeCycle è una app che impara le nostre abitudini di vita (quando stiamo lavorando, quando siamo a fare l’aperitivo, quando andiamo a trovare i nostri genitori, ecc.) per poi mostrarci chiaramente, sotto forma di grafico, quanto tempo dedichiamo all’una o all’altra attività e come questo aumenti o diminuisca nel corso del tempo, dandoci così dei chiari segnali su quanto i nostri comportamenti si discostano dagli obiettivi che ci siamo prefissati o che sono considerati “giusti” a livello sociale (“questa settimana hai passato il 15% del tempo in più a fare aperitivi e hai lavorato l’8% in meno, pessimo risultato”). Questi sistemi e algoritmi quindi, scrive sempre Nowotny, “sono progettati per incanalare il comportamento sociale in una direzione che si presume sia benefica per l’individuo e per la società”.

Pensiamo che queste app ci permettano di gestire al meglio le nostre vite, quando invece sono loro che le gestiscono per noi, ottimizzandole in base agli interessi del sistema che le ha prodotte. Pensiamo che gli algoritmi predittivi amplino le opportunità e le libertà di scelta dell’essere umano, quando invece rischiano di ripetere all’infinito le dinamiche del passato, intrappolandoci nel vicolo cieco dello status quo. Pensiamo di essere noi a usare questi strumenti algoritmici e digitali, quando invece sono, in parte, loro che ci stanno usando (o addomesticando, come direbbe Nowotny). Pensiamo di usarli per prevedere il futuro e invece sono anche loro che lo plasmano.

Se ci affidiamo troppo alle previsioni degli algoritmi, ​​conclude Nowotny, “rischiamo di tornare a una visione del mondo deterministica, in cui tutto è già stato deciso e in cui ci troviamo alla mercé della nostra stessa fiducia verso le previsioni algoritmiche”. A quel punto, il futuro rischierà di richiudersi nuovamente su di noi, trasformandoci in marionette algoritmiche in balia dei sistemi di intelligenza artificiale.