Due milioni di token per svegliarsi la mattina, leggere la posta, cercare le due parole chiave e magari guardare pure che tempo fa. Quello stesso identico lavoro: uno script, di token, ne consuma zero.
Cioè la fattura non se ne accorge: ti dice quanti token hai bruciato, quali modelli hai chiamato, quanto sono costate le chiamate, ma non ti dice se il sistema ha combinato qualcosa per cui valeva la pena di pagare. E nel mondo dei token questa è la parte che nessuno misura.
E O’Brien la paragona ai database, no? È un confronto in effetti che regge: cioè un database costa e dal costo non capisci cosa serve, come è stato progettato, cosa succede se si ferma. E con l’Intelligenza Artificiale è uguale, anzi peggio, perché ci metti dentro reti di agenti che non danno mai due volte la stessa risposta. Un agente che scrive codice al posto di ore di lavoro di un umano, oppure un classificatore che smista documenti, oppure un orchestratore che coordina decine di processi, possono chiudere la giornata con la stessa identica cifra, però non sono la stessa cosa.
Poi c’è anche l’idea che un token sia un token, ma non lo è. Un milione di token spesi da un orchestratore mica valgono un milione di token spesi su un compito difficile. Una chiamata da pochi centesimi che produce lavoro sbagliato costa più di una chiamata che riesce al primo colpo. E far girare un miliardo di token di roba semplice sul modello di frontiera, invece che su uno leggero, sono decine di migliaia di dollari buttati.
Per cui non basta scegliere il modello: contano il livello di ragionamento, come gestiamo la memoria, e prima di tutto se quel compito, quello lì, ha davvero bisogno di un modello. Magari basta un sistema vecchio, deterministico, il software, avete presente?
Nelle aziende dove vado io comincio a vedere però il passo successivo, cioè è un qualcosa che non mi piace. Cioè il consumo di token, quello del singolo dipendente, è usato come misura di quanto produce. E cerco di spiegargli che è sbagliato, perché non è che chi consuma di più lavora di più e chi ne consuma pochi si nasconde.
Poi contiamo i token, per carità, sono l’unica cosa che si vede, ma il numero che conta è un altro. Cioè quanto ci è costato in tutto ottenere la stessa cosa per cui quel sistema esiste? E quello pochi lo mettono in bolletta e dobbiamo calcolarlo noi. E chi vende ottimizzazione, guardando solo la bolletta, sta vendendo la parte facile.
Voi cosa ne pensate?
#DecisioniArtificiali #MCC #Lavoro #Costi #Automazione
