Model collapse. L’AI si sta mangiando i dati, poi decide su di noi
Stiamo saturando il web di contenuti sintetici e poi chiediamo ai modelli di restare fedeli alla realtà. Succede qualcosa che in pochi raccontano, e seguitemi fino alla fine perché riguarda direttamente il lavoro e i soldi di tutti. Il fenomeno tecnico si chiama “model collapse”: quando un modello viene addestrato ricorsivamente su dati generati da altri modelli, oppure su dati contaminati, perde le parti rare e preziose dell’informazione. Spariscono le eccezioni, le sfumature, i casi marginali. Restano risposte medie, pulite, convincenti. Una ricerca pubblicata su Nature mostra che questo degrado è cumulativo: più dati sintetici entrano nel ciclo, più il modello si allontana dalla realtà senza che nessuno se ne accorga.
Noi paghiamo il prezzo dove conta davvero. Decisioni su chi assumere, chi escludere, chi passa un filtro automatico e chi no. Qui negli Stati Uniti, Reuters mi ha raccontato un caso preciso: Amazon ha spento un sistema interno di recruiting perché penalizzava sistematicamente le candidate donne. Nessuna intenzione discriminatoria, solo dati storici sbilanciati trasformati in regole automatiche. Questo è il punto che molti ignorano: il modello non giudica, replica.
Noi stiamo anche chiudendo il circuito. CV scritti con l’AI, annunci scritti con l’AI, screening fatto dall’AI. Le persone iniziano a scrivere per piacere a un algoritmo, le aziende selezionano con un altro algoritmo. La realtà sparisce dal processo. È così che il collasso diventa strutturale.
E con questi numeri, ignorare il model collapse significa accettare decisioni sempre più automatiche, sempre meno controllabili. E quando ce ne accorgiamo, il danno è già incorporato nei dati.
