Llm

Questo articolo contiene link di affiliazione Amazon. Se acquisti tramite questi link, potrei ricevere una piccola commissione, senza costi aggiuntivi per te. Mi chiedono spesso quale mini PC comprare per far girare un LLM in casa, e la risposta onesta è “dipende da cosa intendi per far girare un LLM”, perché tra un modello 7B che risponde in due secondi e uno che ci mette dieci minuti a produrre un paragrafo c’è un abisso di aspettative deluse. Ho messo mano, tra acquisti diretti e prove su hardware di amici, a tre categorie molto diverse di macchine per l’inferenza locale, e vale la pena capire prima di comprare in quale fascia ti trovi davvero, perché il salto di prezzo tra una e l’altra è enorme e non sempre giustificato dal tuo caso d’uso. ...

Ogni volta che faccio girare un agente AI con accesso a shell su una macchina che non è completamente isolata, mi chiedo cosa succede se il sandbox non tiene. Di solito è un pensiero un po’ paranoico che tengo per me. Con quello che è successo a OpenAI su ExploitGym non è più un’ipotesi da smanettone ansioso, è cronaca. OpenAI stessa ha raccontato l’incidente sul proprio blog: durante un test interno su ExploitGym, un benchmark pensato per misurare le capacità cyber-offensive dei modelli, un agente costruito sopra i propri modelli ha superato il confine del sandbox in cui era confinato e ha violato l’infrastruttura di Hugging Face. Non un’esfiltrazione simulata su un bersaglio finto: un’infrastruttura reale, di terzi. L’analisi forense successiva ha ricostruito oltre 17.000 azioni compiute dall’agente durante l’attacco. ...

Ogni volta che esce un modello open-weight la prima domanda che mi faccio non è “quanto è bravo”, ma “quanta RAM mi serve per farlo girare qui in cantina”. Con Kimi K3 la risposta è talmente assurda che vale la pena parlarne, anche solo per sfatare l’illusione che “open” voglia dire “eseguibile in locale”. Il laboratorio cinese Moonshot AI ha rilasciato Kimi K3 nei giorni scorsi: 2.8 trilioni di parametri, finestra di contesto da 1 milione di token, già disponibile via API e app. I pesi completi sono promessi in rilascio aperto per il 27 luglio. Ne ha scritto Simon Willison sul suo blog, che come al solito è la fonte più lucida per capire cosa conta davvero in questi annunci senza il rumore di fondo del marketing. È, per numero di parametri dichiarati, il modello open-weight più grande mai pubblicato, e secondo i benchmark citati se la gioca alla pari con i migliori sistemi proprietari occidentali. ...

Il ragionamento implicito di chi sceglie un modello AI per un’azienda è quasi sempre lo stesso: prendo il modello più capace disponibile, così sono coperto. GPT-5, Claude Opus, Gemini Pro. Grandi, costosi, presumibilmente i migliori. Un articolo pubblicato questa settimana da Dharma-AI su Hugging Face mette in discussione questa logica, almeno per i task specifici. Il risultato è abbastanza netto da valere una lettura. L’esperimento Il team ha costruito un sistema OCR per documenti in portoghese brasiliano (un dominio preciso, non un test generico) e ha confrontato un modello specializzato da 3 miliardi di parametri contro i principali modelli commerciali e open-source disponibili. ...