Le classifiche dei modelli di Intelligenza Artificiale non servono a scegliere. Sul mio computer un modello che nelle classifiche generali sta molto sotto i giganti batte modelli 5 volte più grandi.
Non ogni tanto, sempre. Nel mio caso è un Qwen 3.5, quello da 122 miliardi di parametri con 10B attivi, e gira qua, a New York, a casa mia, sulla mia macchina. Ma ad agosto la graduatoria, una di quelle più famose, dice tutt’altro.
Claude Opus 5 in testa con 63 punti, dietro c’è ChatGPT, poi il cinese Kimi K3 a 60, e l’Europa compare al ventunesimo posto con la francese Mistral. Numeri veri e misurati bene. Solo che internamente, per vedere cosa era meglio per me, ho costruito un sistema di comparazione che simula i miei task con i vari modelli. Leggere file, cercare, chiamare strumenti, guardare i commenti dei social, riordinare, insomma, quello che deve fare il mio agente locale.
E lì l’ordine si ribalta. Gli stessi identici pesi, lo stesso modello, si spostano anche di 10 o 20 punti a seconda di come li metti alla prova. In cima, poi, si sono avvicinati così tanto che tra il primo e il quarto la differenza è rumore, ma noi poi usiamo modelli molto più piccoli, in realtà, nelle nostre macchine.
E poi, dai, a parità di task, con un modello aperto, lo faccio girare a casa mia, no? I dati mica escono, non pago a consumo, non dipendo da qualcuno che domani alza il prezzo o spegne una versione, e questo vale più di qualche punto in una tabella.
Certo, ci vuole un computer con una VRAM da 256 GB, circa, tra contesto e modello, e però poi si scopre che a costo zero fa certi task meglio di modelli grandissimi. Quindi, sapere nelle classifiche qual è il modello AI più potente al mondo non ci aiuta a scegliere quello che ci serve.
Vedete, il test che conta dobbiamo farlo noi: i nostri documenti, il nostro linguaggio, i nostri errori accettabili, 3 modelli sulla stessa cosa. In mezza giornata ne sappiamo di più di qualsiasi graduatoria. Le classifiche, ovviamente, continueranno a uscire, e continueranno a rispondere a una domanda che però non è mica la nostra.
Voi cosa ne pensate?
#DecisioniArtificiali #MCC #ModelliAI #Benchmark #OpenSource
