- Un'AI locale seria oggi si costruisce attorno a un budget di memoria unico tra VRAM e RAM, non solo alla scheda video, e la scelta del motore di inferenza (llama.cpp, ik_llama.cpp, KTransformers) pesa quanto quella del modello.
- I modelli MoE permettono di far girare modelli molto più grandi di quanto la sola VRAM consenta e tecniche come la predizione multi-token aggiungono velocità reale sullo stesso hardware.
- Questa guida copre sigle, quantizzazione, i modelli principali del 2026, le schede video consigliate per fascia di prezzo e i dettagli non scontati che si pagano cari solo dopo aver già speso i soldi.
16 gigabyte di VRAM più 64 di RAM di sistema: con questa combinazione, oggi, si fa girare in locale un modello con più parametri di quanti ne avesse GPT-4 al lancio. È il salto che ha reso l’AI locale un’opzione concreta per chi ha un PC da gaming di fascia medio-alta, non solo per chi ha un server da migliaia di euro. Questa guida mette insieme tutto quello che serve per partire dal punto giusto: cosa contano davvero VRAM e RAM, come funziona la quantizzazione, quali modelli scegliere nel 2026, quale scheda video comprare in base al budget a disposizione e i dettagli che si pagano cari solo dopo aver già speso i soldi.
Hardware per AI locale: perché VRAM e RAM contano più della sola GPU
Il primo errore di chi si avvicina all’AI locale è guardare solo ai gigabyte della scheda video. Con i motori di inferenza più recenti (llama.cpp e i suoi fork specializzati come ik_llama.cpp), la VRAM e la RAM di sistema si sommano in un unico budget: i pesi del modello che non entrano sulla scheda vengono scaricati sulla CPU, che li elabora insieme alla GPU invece che al posto suo.
Il collegamento fisico tra CPU e GPU conta più di quanto sembri: un collegamento PCIe 4.0 a 16 corsie offre una banda teorica di circa 32GB al secondo, contro i circa 5GB al secondo di un Thunderbolt 4. Per un modello che deve spostare miliardi di parametri tra CPU e GPU a ogni token generato, quella differenza si sente eccome, ed è il motivo per cui un eGPU via Thunderbolt è quasi sempre una scelta sbagliata per questo uso specifico, a meno che non ci si limiti all’utilizzo di soli modelli che possono risiedere interamente nella VRAM.
Con 16GB di VRAM e 64GB di RAM di sistema, budget ormai comune su un PC da gaming di fascia medio-alta, oggi si fanno girare comodamente modelli MoE tra 30 e 40 miliardi di parametri totali, la fascia che offre il miglior compromesso tra velocità e qualità per un uso quotidiano.
Il glossario che serve prima di iniziare
Chi arriva per la prima volta all’AI locale si scontra con una quantità di sigle che scoraggia più della curva di apprendimento reale. Ecco quelle da tenere sott’occhio mentre si legge il resto della guida.
| Sigla o termine | Cosa significa |
| VRAM | La memoria dedicata della scheda video. È la risorsa più veloce per far girare un modello. |
| RAM di sistema | La memoria della scheda madre, condivisa con tutto il resto del PC. Più lenta della VRAM, ma utilizzabile come estensione quando il modello non entra interamente in scheda video. |
| Parametri | I numeri che il modello ha imparato durante l’addestramento. Più parametri, in genere, equivale a più capacità, ma anche più memoria e calcoli richiesti. |
| MoE (mixture of experts) | Un’architettura in cui il modello è diviso in tanti sotto-blocchi (gli esperti) e ne attiva solo alcuni per ogni token generato, invece di usarli tutti insieme. |
| Quantizzazione | La compressione della precisione numerica del modello. Riduce l’occupazione di RAM/VRAM del 70-80% con perdite di qualità trascurabili. |
| GGUF | Il formato di file più diffuso per i modelli quantizzati destinati a girare in locale, usato da llama.cpp e da quasi tutti gli strumenti che ne derivano. |
| KV cache | La memoria che il modello usa per non dover ricalcolare da zero tutto il testo già letto o generato. Cresce con la lunghezza della conversazione. Può essere anch’essa quantizzata (es. Q4 o Q8) per risparmiare VRAM. |
| Finestra di contesto | Quanto testo, misurato in token, il modello riesce a tenere a mente contemporaneamente tra prompt, cronologia e risposta. |
| Token | L’unità minima di testo che il modello legge e genera: circa 3 o 4 caratteri in italiano, non sempre una parola intera. |
| Token al secondo | La velocità di generazione del modello. È la metrica pratica che conta più di ogni benchmark quando si usa il modello davvero. Sopra i 15-20 t/s la lettura è fluida e piacevole in tempo reale. |
| Imatrix | Una matrice di importanza calcolata prima della quantizzazione, che indica quali pesi vanno trattati con più cura per perdere meno qualità. |
| RAG | (Retrieval Augmented Generation) Una tecnica che permette al modello di consultare documenti esterni prima di rispondere, invece di affidarsi solo a quello che ha imparato in addestramento. |
| MTP | (Multi-Token Prediction) Una tecnica che permette al modello di proporre più token in un solo passaggio di calcolo invece di uno alla volta, con un guadagno di velocità reale su chi la supporta. |
| _0, _K | Sono sigle che indicano le modalità di quantizzazione adottate. Q0 indica una quantizzazione uniforme di tutti i pesi del modello, mentre K indica un mix intelligente: comprime a 3 o 4 bit gli strati meno importanti, ma riserva 5 o 6 bit ai tensori critici. |
| _S, _M, _L | Banalmente Small, Medium, Large. Indicano quanto aggressivo è il mix di compressione. Approfondiremo più avanti le differenze e capiremo quale versione utilizzare in che occasione. |
La quantizzazione, spiegata bene
Vale la pena capirla meglio perché è la decisione che cambia di più l’esperienza reale. Un modello viene addestrato e pubblicato a piena precisione, di solito 16 bit per ogni parametro: un modello da 27 miliardi di parametri a piena precisione occupa circa 54GB, fuori portata per quasi tutto l’hardware consumer. Un quant Q4_K_M, lo standard più diffuso, usa in media circa 4,5 bit per parametro e lo stesso modello scende a circa 15-16GB, dentro la portata di una scheda video di fascia media.
Non tutti i quant a 4 bit sono uguali, ed è qui che si gioca la differenza vera. La quantizzazione classica applica lo stesso numero di bit a tutto il modello. La quantizzazione dinamica, diffusa da gruppi come Unsloth, analizza ogni singolo strato e assegna più bit agli strati sensibili (in genere l’attenzione) e meno a quelli che tollerano meglio la compressione (in genere i blocchi degli esperti nei modelli MoE). Il risultato è una qualità sensibilmente più alta a parità di dimensione del file. Per scendere sotto i 3-4 bit senza perdere troppo serve anche una imatrix di calibrazione: senza, la qualità sotto quella soglia degrada in modo netto, non graduale.
Un chiarimento che vale la pena fare: i formati nativi a 4 bit come l’MXFP4, pensati fin dall’addestramento per vivere in quella precisione, non sono automaticamente migliori dei quant GGUF classici. Test pubblicati tra marzo e giugno 2026 hanno mostrato che l’MXFP4 rende peggio su alcuni strati particolarmente sensibili, al punto che diversi gruppi lo stanno ritirando dai loro pacchetti misti. La regola pratica resta: non fidarsi del nome del formato, fidarsi di chi pubblica il quant e di come lo ha calibrato.
A proposito di quantizzazione, è il momento di approfondire le diverse versioni. Prendiamo come esempio un modello quantizzato a Q4.
- _S (Small – es.
Q4_K_S): È la versione più compressa della famiglia. La maggior parte dei pesi viene schiacciata per risparmiare ogni singolo megabyte possibile.
Quando usarla: Solo se siete letteralmente al limite della VRAM e la versione “M” fa crashare il sistema. La qualità del testo ne risente leggermente. - _M (Medium – es.
Q4_K_M): È il “Best Buy” della quantizzazione. Metà dei pesi del modello sono a 4 bit, ma l’altra metà (quella cruciale) viene salvata a precisioni più alte.
Quando usarla: Quasi sempre. È il punto di equilibrio perfetto tra perdita di logica invisibile e occupazione minima di RAM/VRAM. - _L (Large – es.
Q4_K_L): Utilizza molti più bit per gli strati intermedi. Il file diventa significativamente più pesante, tanto da avvicinarsi per dimensioni a un modello di classe superiore (es. unQ5_K_S).
Quando usarla: Raramente. Se avete abbastanza VRAM per far girare unQ4_K_L, molto spesso conviene scaricare direttamente unQ5_K_Mche offre ragionamenti migliori a parità di peso.
Il trucco dei modelli MoE: più parametri, meno calcolo
Non tutti i modelli della stessa dimensione dichiarata costano lo stesso a far girare. I modelli MoE attivano solo una piccola parte dei loro parametri totali per ogni token generato. Qwen3.6-35B-A3B, per fare un esempio, ha 35 miliardi di parametri totali ma ne attiva solo circa 3 miliardi per token: si comporta in termini di velocità quasi come un modello dense da 3-4 miliardi, pur avendo la profondità di conoscenza di uno molto più grande. All’estremo opposto c’è DeepSeek R1, 671 miliardi di parametri totali con soli 37 miliardi attivi.
Il vantaggio si paga in un solo modo: il modello intero, anche gli esperti inattivi, deve comunque stare da qualche parte in memoria (VRAM o RAM). È il motivo per cui un MoE grande conviene solo se si ha la RAM per ospitarlo, non solo la VRAM.
La mappa dei modelli nel 2026: quali usare per cosa
- Scrittura assistita e uso quotidiano: La famiglia Qwen3.6 (rilasciata da Alibaba ad aprile 2026 in versione MoE 35B e dense 27B, licenza Apache 2.0) resta il punto di riferimento più equilibrato su hardware da 16GB di VRAM. Anche Gemma 4 di Google copre la stessa fascia, ma attenzione alla licenza per l’uso commerciale.
- Ragionamento puro (matematica, logica, debug): DeepSeek R1 resta tra i più solidi, disponibile anche in versioni distillate molto più leggere (da 1,5 a 70 miliardi di parametri).
- Coding agentico: Per flussi di lavoro complessi e programmazione avanzata (in ottica simile a quella del ricercatore AI autonomo sviluppato da OpenAI), modelli come Kimi K2.7 Code o DeepSeek V4 sono ottimi, ma pensati per cluster multi-GPU; su un singolo PC conviene usare versioni più piccole. Qwen Code è un’altra ottima alternativa.
- Hardware modesto (solo CPU): Phi-4-mini di Microsoft (3,8 miliardi di parametri, licenza MIT, 128.000 token di contesto) è la scelta più pragmatica, ma esistono formati di dimensioni simili anche della famiglia Gemma e Qwen.
Attenzione: non tutto quello che porta un nome noto è open weight. Qwen3.7 Max, per esempio, è disponibile solo via API a pagamento. Prima di progettare attorno a un modello, controllate la licenza esatta.
Tre fasce di hardware, tre fasce di modelli
- Con 8-12GB di VRAM (senza molta RAM extra): Grazie alla quantizzazione
Q4_K_M, questa fascia ti permette di caricare modelli tra 7 e 14 miliardi di parametri interamente nella scheda video (inclusa la KV cache). Sono velocissimi, ma con margini di ragionamento più stretti su compiti logici complessi. Scelte ideali: Phi-4-mini per i task più leggeri, o le varianti Qwen e Gemma da 8 a 14B per un uso generalista. - Con 16GB di VRAM e 32/64GB di RAM di sistema: È il vero sweet spot del 2026. Applicando la quantizzazione Q4 sia ai pesi sia alla memoria di contesto, un modello denso da 27B entra esattamente al 100% nei 16GB di VRAM, garantendo velocità di generazione altissime. Sfruttando invece il collegamento PCIe per scaricare dati sulla RAM di sistema (offload ibrido), questa configurazione fa girare fluidamente modelli MoE tra i 30 e i 40 miliardi di parametri totali (come Qwen3.6-35B-A3B), tenendo gli esperti attivi sulla GPU e quelli inattivi sulla RAM del PC.
- Con 64GB o più di RAM di sistema (Offload pesante): È la fascia pensata per chi sacrifica un po’ di velocità in nome dell’intelligenza pura. Permette di far girare modelli densi da 70B o modelli MoE ben oltre i 100 miliardi di parametri totali. Si accetta qualche secondo di attesa al caricamento del prompt e una velocità di lettura inferiore (spesso sotto i 10 token al secondo), in cambio di una qualità di programmazione e logica paragonabile ai servizi cloud commerciali più costosi.
Quale scheda video comprare per l’AI locale: le migliori GPU del 2026
- Fascia d’ingresso: Una RTX 5060 Ti da 16GB (a partire da circa 570-600 euro). Ha il miglior rapporto VRAM/prezzo dell’intera gamma attuale, essenziale se consideriamo quanto sia strategica la memoria.
- Fascia media/alta: Una RTX 5070 Ti da 16GB (circa 900-935 euro) o RTX 5080 da 16GB (circa 1.240-1.280 euro). Offrono più calcolo puro, utili se si fa anche gaming o editing video. In alternativa c’è la chiacchieratissima RTX 3090, una GPU del 2020 che offre però prestazioni non troppo distanti da quelle dei modelli entry level 2026 e, soprattutto, ben 24GB di VRAM. Non è più in produzione e bisogna affidarsi al mercato dell’usato, dove viene venduta intorno agli 800€.
- Fascia estrema: Una RTX 5090 da 32GB (oltre i 2.000 euro). Giustificata solo per tenere in VRAM modelli MoE giganti senza offload su CPU.
Nota su AMD: Una Radeon RX 9070 XT da 16GB si trova a ottimi prezzi (630-685 euro), ma l’ecosistema software per l’AI locale è costruito attorno a CUDA (Nvidia). Alcuni motori come ik_llama.cpp non supportano ROCm né Vulkan.
Il miraggio delle Nvidia Tesla (P40, M40, K80, V100)
Facendo un giro su eBay o AliExpress è facile trovare vecchie schede da server come la Nvidia Tesla P40 (24GB di VRAM) a prezzi ridicoli, tra i 150 e i 200 euro. Sembra l’affare del secolo per far girare modelli enormi in locale, ma nasconde tre problemi insormontabili:
- Il problema termico (niente ventole): Le schede Tesla sono progettate per i rack dei data center. Non hanno ventole a bordo, ma si affidano ai flussi d’aria a reazione dei server. Montando una Tesla in un normale PC da gaming, si surriscalda e va in blocco termico in pochi minuti. Per usarle bisogna stampare in 3D dei convogliatori d’aria e montarci ventole industriali rumorosissime, trasformando il PC in un asciugacapelli.
- Architettura obsoleta (Niente Tensor Cores): Le Tesla della serie P (Pascal) o precedenti hanno 24GB di VRAM, ma sono estremamente lente nei calcoli richiesti dall’AI moderna. Non possiedono i Tensor Cores (introdotti successivamente) e sono pessime nella gestione della precisione a 16 bit (FP16). Il risultato è avere la memoria per caricare il modello, ma questo genererà testo a 1 o 2 token al secondo, un ritmo inutilizzabile nella pratica.
- Software abbandonato: L’ecosistema software si muove in fretta. Tecnologie fondamentali per risparmiare memoria (come la Flash Attention) richiedono architetture moderne (minimo serie RTX 3000 o 4000). Molti motori di inferenza stanno gradualmente smettendo di compilare il codice per queste vecchie architetture, costringendoti a usare versioni vecchie del software.
Le uniche Tesla che avrebbero senso tecnicamente sono le serie moderne (A100, H100), ma quelle costano dai 10.000 euro in su.
Cosa ci si costruisce davvero, non solo la chat
La chat è la parte più visibile ma non la più utile. Le applicazioni reali includono: un assistente personale su Telegram che gestisce calendario e controllidella casa smart; un motore di scrittura assistita; un generatore di immagini locale (ComfyUI); un modello vision per estrarre testo dalle immagini. Il vero salto di utilità nel 2026 è poter collegare il modello a strumenti reali (ricerca web, file, domotica) mantenendo la privacy totale, arginando anche i problemi di affidabilità (le AI commerciali senza RAG sono ritenute meno affidabili dei social).
Software per AI locale: llama.cpp, LM Studio e motori di inferenza
Scegliere il modello giusto è solo metà del lavoro. llama.cpp resta il punto di riferimento. Chi cerca velocità sull’offload ibrido usa ik_llama.cpp (solo CPU e CUDA). Per modelli MoE enormi (oltre 500B), KTransformers sposta gli esperti sulla CPU con kernel ottimizzati, permettendo di usare DeepSeek R1 su una singola scheda da 24GB. Per chi vuole un’interfaccia grafica intuitiva, LM Studio incapsula llama.cpp in un programma point-and-click.
La vera rivoluzione 2026 è la predizione multi-token (MTP), integrata in modelli come Qwen3.6 e DeepSeek V3/R1. Permette al modello di proporre più token alla volta, con salti di velocità fino al +71% (test su Qwen3.6 27B) semplicemente aggiungendo due parametri di avvio.
5 cose che quasi nessuno dice prima di iniziare
- Le eGPU via Thunderbolt non sono la soluzione definitiva: Sembrano comode, ma il collo di bottiglia nello scambio dati PCIe affossa le prestazioni a ogni token se si usa l’offload. Vanno bene per il gaming e sono ottime per inferenza, ma soltanto con modelli in grado di risiedere interamente nella VRAM.
- La KV cache si può quantizzare: Impostarla a 8 bit dimezza la memoria richiesta per il contesto con perdite di qualità quasi impercettibili e potete arrivare anche a 4 bit senza perdite significative. Attivatela sempre.
- Il modello più grande non è sempre il migliore: Un MoE con pochi parametri attivi spesso batte in velocità percepita un modello dense più piccolo sulla carta. Conta quanti parametri lavorano davvero.
- A parità di bit, la qualità cambia: Un quant Q4 con calibrazione (imatrix) è nettamente superiore a un quant Q4 generico. Guardate chi pubblica il modello, non solo la dimensione.
- I consumi elettrici esistono: Una GPU con un modello caricato in memoria consuma anche a riposo (20-30 watt). Se fate un assistente sempre acceso, mettetelo in conto nella bolletta.
Cosa aspettarsi nei prossimi mesi
Due tendenze: la diffusione dell’MTP su sempre più modelli e motori di inferenza sempre più specializzati nell’uso ibrido CPU+GPU per hardware consumer. Prima di fare acquisti enormi, sfruttate quello che avete: una scheda da gaming con 16GB di VRAM copre già gli usi reali. Il salto verso l’hardware dedicato ha senso solo quando i progetti superano davvero ciò che il PC domestico può reggere.
FAQ
Quanta RAM serve per un’AI locale?
Dipende dal modello che vuoi far girare, non da un minimo fisso. Per i modelli MoE più diffusi in fascia media, tra 30 e 40 miliardi di parametri totali, 32GB di RAM di sistema più 16GB di VRAM sono già sufficienti se il modello sta quasi interamente in scheda video. Per salire oltre i 100 miliardi di parametri servono 64GB di RAM o più, usati per l’offload della parte che non entra sulla GPU.
Conviene comprare una GPU nuova solo per l’AI locale?
Se l’AI locale è l’unico scopo, spesso conviene investire in più RAM di sistema piuttosto che su una scheda eccessivamente costosa. Una nuova GPU per inferenza avrebbe più senso nel caso in cui si utilizzi il PC anche per il gaming.
L’AI locale è davvero privata?
Più di un servizio cloud, ma non in modo assoluto. L’elaborazione del testo resta sul tuo PC, ma se colleghi strumenti come la ricerca web o un calendario online, quella parte della richiesta esce comunque verso terzi. La differenza reale si ottiene scegliendo alternative self-hosted anche per quei pezzi, non solo per il LLM.
Che differenza c’è tra un modello quantizzato e uno originale?
Un modello quantizzato comprime la precisione numerica dei pesi per occupare meno memoria e girare più veloce. Con le tecniche di quantizzazione dinamica più recenti, la perdita di qualità rispetto alla versione a piena precisione è quasi impercettibile fino a circa 4 bit per parametro; sotto quella soglia, specialmente sui modelli MoE, la degradazione comincia a farsi sentire davvero, ed è lì che conta di più la qualità della calibrazione, non solo il numero di bit.
Cos’è un modello MoE in parole semplici?
È un modello diviso in tanti blocchi specializzati, chiamati esperti, di cui solo alcuni si attivano per ogni parola generata invece di usarli tutti insieme. Il vantaggio è la velocità: un modello con 35 miliardi di parametri totali ma solo 3 attivi per token gira quasi come un modello molto più piccolo, pur mantenendo la conoscenza di uno grande. Il costo è che l’intero modello deve comunque stare in memoria, anche gli esperti inattivi in quel momento.
Conviene un Mac invece di un PC Windows per l’AI locale?
Dipende da cosa si vuole fare. Un Mac con chip Apple ha memoria unificata, quindi RAM e VRAM condividono lo stesso pool, un vantaggio enorme per modelli molto grandi senza dover pensare all’offload (motivo per cui la domanda di Mac per eseguire AI in locale è altissima). Il rovescio della medaglia è l’ecosistema software: molti motori di inferenza specializzati per l’offload ibrido, come ik_llama.cpp, dichiarano di non supportare Metal, e restano pensati per CPU e CUDA (hardware Nvidia).
Che differenza c’è tra GGUF e formati come AWQ o GPTQ?
GGUF è il formato pensato per girare ovunque, CPU, GPU e Apple Silicon compresi, tramite llama.cpp e i programmi che lo usano come motore, come LM Studio. AWQ e GPTQ sono formati nativi per GPU, pensati per framework come vLLM o TensorRT-LLM, tipicamente usati in scenari server dove si serve il modello a più utenti contemporaneamente. Per un uso personale su un solo PC, GGUF resta la scelta più semplice e compatibile.
Quanti token al secondo sono accettabili per l’uso quotidiano?
Indicativamente, sopra i 15-20 token al secondo la lettura tiene il passo della generazione e l’attesa non si nota quasi. Sotto i 5-6 token al secondo, invece, si percepisce chiaramente il ritardo, soprattutto in una conversazione a turni rapidi. La predizione multi-token (MTP), quando il modello la supporta, è oggi il modo più semplice per spostare la stessa scheda da un valore all’altro senza cambiare hardware.
Dove posso scaricare i modelli AI per uso locale?
Hugging Face è il punto di riferimento per gli LLM e ospita una libreria immensa di modelli, ognuno accompagnato da una scheda che ne descrive accuratamente le caratteristiche tecniche.
