Modelli grandi sulla scrivania. Che cosa mostra Framework con Gorgon Halo, e che cosa no

Il 30 settembre Framework, l'azienda americana nota per i portatili che si riparano e si aggiornano pezzo per pezzo, ha pubblicato sul suo canale YouTube un video di un quarto d'ora dedicato alla nuova versione del Framework Desktop. È un computer piccolo, poco più grande di una scatola da scarpe, con il nuovo processore AMD Ryzen AI Max+ PRO 495, nome in codice Gorgon Halo, e 192 gigabyte di memoria condivisa tra processore e grafica. Il video è del produttore, e va letto come tale: mostra la macchina nelle condizioni in cui rende meglio. Detto questo, è fatto con serietà, con modelli e numeri reali, ed è un buon punto di partenza per capire a che punto è l'hardware per l'intelligenza artificiale in casa.

Che cosa mostra

La novità è la memoria. La versione precedente, con il processore Strix Halo, si fermava a 128 gigabyte: abbastanza per molti modelli aperti, non per i più grandi. Per far girare un modello come DeepSeek V4.1 Flash bisognava collegare due macchine tra loro, oppure leggere una parte del modello dal disco, molto lentamente. Con 192 gigabyte il modello entra tutto in memoria su un solo computer. Il video lo mostra con tre modelli aperti recenti, DeepSeek V4.1 Flash, MiMo V2.6 Flash di Xiaomi e GLM-5.3 Flash, compressi per stare in memoria e fatti girare con programmi liberi come llama.cpp.

La velocità con cui scrivono le risposte è più o meno quella con cui una persona legge: non istantanea, ma utilizzabile. Ed è stabile anche quando la conversazione si allunga.

La parte più interessante è la seconda. Con tutta quella memoria si possono tenere accesi due modelli insieme: uno veloce che fa il grosso del lavoro e, quando si blocca, chiede aiuto a uno più lento e più capace. È uno schema che vedremo sempre di più: non un unico modello enorme per tutto, ma modelli diversi per compiti diversi, che si passano il lavoro.

Infine un dettaglio pratico: lo slot di espansione è aperto sul fondo, così si può aggiungere una scheda grafica separata per dividere il lavoro, oppure una scheda di rete veloce per collegare più macchine in un piccolo gruppo.

Che cosa non mostra

Il video è pensato per una persona sola alla scrivania, o per lavori lasciati girare di notte. Non dice niente di quello che succede quando cinque o dieci persone fanno domande nello stesso momento, non dice quanto consuma né quanto rumore fa, e non confronta la macchina con le alternative, cioè i Mac Studio di Apple e il DGX Spark di NVIDIA.

C'è poi un aspetto che il video misura ma non commenta. Prima di rispondere, un modello deve leggere tutto quello che gli si dà: la domanda e, se lavora sui documenti dell'azienda, le pagine pertinenti di contratti, pratiche, manuali. Su questa macchina la lettura dei testi lunghi è la parte lenta. Con poche righe la risposta parte subito; con decine di pagine di contesto l'attesa prima della prima parola si misura in minuti. Non è un difetto di Framework: vale, in misura diversa, per tutte le macchine che puntano sulla tanta memoria, compresi i Mac. Le schede NVIDIA, a parità di prezzo, leggono molto più in fretta e reggono meglio più persone insieme.

Per chi ha senso

Per una persona o un piccolo gruppo che vuole far girare in casa i modelli aperti più grandi, con domande brevi o lavori che possono aspettare, il Framework Gorgon Halo è oggi una delle soluzioni più interessanti: una macchina sola, silenziosa da scrivania, aperta, con Linux e senza legarsi a un produttore. Per uno studio professionale in cui più persone interrogano ogni giorno archivi lunghi, conta meno la grandezza del modello e più la velocità di lettura dei documenti e il numero di richieste contemporanee. Lì la scelta di solito è un'altra.

È la domanda da fare prima di ogni acquisto: non "qual è il modello più grande che posso far girare", ma "quante persone lo useranno, con quanti documenti alla volta, e quanto possono aspettare". La risposta decide la macchina, e spesso fa risparmiare parecchio.

Il video di Framework: 192GB Framework Desktop: Local AI on Gorgon Halo.