Un ex responsabile della sicurezza di OpenAI dice che l’Intelligenza Artificiale va trattata come una centrale nucleare. E ha ragione, e il motivo lo scrive la stessa OpenAI in un suo studio. Secondo quello studio, i modelli sono addestrati a rispondere sicuri anche quando non sanno la risposta. E se in azienda usiamo quelle risposte per decidere senza controllarle, il rischio ce l’abbiamo già dentro i processi.
OpenAI l’ha ammesso apertamente: i suoi modelli vengono valutati come studenti sotto esame. E a un esame chi tira a indovinare prende più punti di chi scrive «non lo so», perché il foglio in bianco vale zero. Così il modello impara a inventare con un tono sicuro, visto che ogni tanto ci azzecca. Qui negli Stati Uniti lo chiamiamo «confident wrong», cioè sbagliato e sicuro di sé. Sbagliato e sicuro di sé è la combinazione peggiore, perché una risposta detta con sicurezza passa senza controlli. Quando quella risposta finisce in un contratto o in un bilancio, a rimetterci è l’azienda che l’ha usata. E con modelli sempre più potenti la bugia diventa elegante e si riconosce sempre meno.
Quella bugia si toglie cambiando i voti, e il paper di OpenAI lo scrive. Bisogna penalizzare l’errore detto con sicurezza più del dubbio, e premiare in parte chi ammette di non sapere. Ma per anni le classifiche hanno premiato le risposte giuste e basta, e chi costruisce i modelli fa a gara per salire lì. Finché si gareggia così, ai modelli conviene indovinare.
E in azienda ogni loro risposta va verificata prima di usarla per decidere. Quindi fate subito una verifica: riprendete le decisioni dell’ultimo mese prese con l’aiuto dell’AI e ricontrollate a mano numeri e fonti. E da oggi chiedete al modello di dirvi quando non è sicuro, e ogni risposta senza una fonte trattatela come una bozza da verificare!
Voi cosa ne pensate?












