Un algoritmo ha deciso che era colpevole. Il giudice ha obbedito.
Eric Loomis viene arrestato nel Wisconsin nel 2013. È accusato di aver guidato un’auto usata in una sparatoria. Il processo è veloce, ma la condanna arriva da un posto inaspettato: un software.
Si chiama COMPAS, un algoritmo che calcola il rischio di recidiva. Usa i dati di Eric: età, precedenti, quartiere, risposte a un questionario. E gli assegna un punteggio. Alto. Troppo alto.
Il giudice legge quel punteggio e lo segue. Sei ad “alto rischio”, dice la sentenza. Quindi niente pena alternativa. Anni di carcere.
Eric non può sapere come funziona il software. È coperto da segreto industriale. Nessuno può verificare se ha sbagliato, se è imparziale, se è stato addestrato su dati corretti. È un algoritmo opaco, eppure usato per decidere sulla libertà delle persone.
Lui fa ricorso. Arriva fino alla Corte Suprema dello Stato. Perde. L’algoritmo resta. Nessuno lo mette in discussione. Fuori da lì, però, qualcosa si muove.
Il caso fa il giro del mondo. Organizzazioni civili, ricercatori, giornalisti… iniziamo a chiederci: può una macchina decidere una condanna senza spiegare come ha ragionato? E se fosse razzista? E se sbagliasse?
Oggi questi software si usano anche per decidere chi ottiene un mutuo, un lavoro, un’assicurazione. Sistemi chiusi, inaccessibili, senza appello. E la maggior parte delle persone non lo sa nemmeno. Ma se la macchina non può essere interrogata, non può essere corretta. E allora non è giustizia. È solo automazione.
Eric Loomis è stato giudicato da un sistema che non poteva nemmeno vedere. E nessuno si è preso la responsabilità.
Questa è la nuova ingiustizia: nessuno che decide, ma tutti che subiscono.
