I migliori modelli LLM locali

Guida: Intelligenza Artificiale Locale › Modelli

Non esiste un miglior LLM locale valido per ogni azienda: cambiano qualità in italiano, codice, documenti lunghi, licenza, memoria occupata e velocità. La selezione di metà 2026 descritta sotto è una fotografia editoriale, non una classifica in tempo reale. Prima di installare un modello verifica versione, formato, condizioni d’uso, quantizzazione e risultati sui tuoi dati di prova, evitando di esporre informazioni riservate nei benchmark.

Tassonomia e scelta dei modelli

Un confronto attendibile richiede lo stesso insieme di domande e gli stessi criteri: correttezza delle risposte, citazioni a fonti aziendali quando serve il RAG, latenza, consumo di memoria e tasso di errori. Per alcuni compiti un modello piccolo configurato bene può essere più pratico di uno grande. Approfondisci il rapporto fra contesto e memoria e i casi d’uso concreti.

Il principio guida: scegli per adattamento, non per classifica

L’errore del principiante è inseguire il modello più in alto nelle classifiche. Sbagliato. Il modello giusto è quello che entra nel tuo hardware e fa bene il tuo compito specifico. Un modello mediocre che gira fluido batte sempre un modello eccellente che arranca o non entra in memoria. Parti dalla tua VRAM, individua la taglia che ci sta (ricordando la regola: in Q4, i gigabyte ≈ i miliardi di parametri, più lo spazio per la cache KV), e dentro quella taglia scegli il modello più adatto al lavoro. E prova sempre sul tuo caso reale: i benchmark raccontano una parte della storia, ma come un modello “si sente” sul tuo compito specifico lo scopri solo provandolo sui tuoi dati.

Aperto, open-weight, open-source: una distinzione che conta

Sentirai chiamare questi modelli “open source”, ma il termine è spesso impreciso. La maggior parte sono open-weight: i pesi del modello sono scaricabili e usabili, ma i dati di addestramento e l’intera pipeline non sono pubblici. “Open source” in senso stretto significherebbe avere anche dati e codice di addestramento, cosa rara. Per chi costruisce, comunque, conta più la licenza dell’etichetta: definisce cosa puoi farci.

Le licenze (fondamentale per chi ci costruisce un business)

Se l’assistente serve la tua attività, la licenza è cruciale. Le più libere e sicure per uso commerciale sono Apache 2.0 (Qwen 3 e successivi, Mistral di nuova generazione, Gemma in parte) e MIT (Phi-4, DeepSeek): puoi usarli, modificarli, distribuirli e venderci sopra senza royalty. Le licenze della famiglia Llama sembrano permissive ma contengono clausole — come un tetto agli utenti attivi mensili e restrizioni geografiche — che possono pesare per operazioni grandi. La famiglia Gemma ha termini propri da leggere prima di costruirci un prodotto commerciale. La regola: per uso personale, ricerca e strumenti interni, in genere tutto è permesso senza pensieri; se ci costruisci un prodotto o un servizio, leggi sempre la scheda del singolo modello e privilegia Apache 2.0 o MIT.

I modelli per esigenza (aggiornato giugno 2026)

Ecco il panorama attuale, organizzato per quello che vuoi fare. I comandi sono pronti; verifica sempre i tag aggiornati con ollama show, perché le sigle evolvono.

Uso generale su hardware consumer — il riferimento del momento: Qwen 3.6 27B. Eccellente su un ampio spettro di compiti, licenza Apache 2.0 (libera anche commercialmente), entra in 24 GB di VRAM in Q4. Se hai una workstation di fascia 3, è la prima scelta come tuttofare.

ollama pull qwen3.6:27b

Il miglior “piccolo” (16 GB) — gpt-oss:20b. Il modello open-weight di OpenAI, architettura MoE (21 miliardi totali, 3,6 attivi), gira in 16 GB, qualità vicina ai modelli di ragionamento di fascia media, con la possibilità di regolare quanto “pensa” prima di rispondere. Veloce e capace, la scelta consigliata per le fasce 1-2.

ollama pull gpt-oss:20b

Scrittura, contenuti e RAG su poca memoria (8 GB) — Gemma nelle varianti leggere. Prosa pulita e ben strutturata, multimodale (gestisce anche immagini), modalità di ragionamento, ottimo supporto all’italiano e a oltre 140 lingue. Le varianti leggere girano in 8 GB, quelle medie in 16 GB. Ideale per generare contenuti dove formattazione e leggibilità contano.

ollama pull gemma3:4b     # variante leggera, 8 GB
ollama pull gemma3:12b    # variante media, 16 GB

Equilibrio tuttofare — qwen3:30b. Un MoE bilanciato, buono su quasi tutto, veloce grazie all’architettura a esperti. Ottima scelta intermedia.

ollama pull qwen3:30b

Programmazione — Qwen 2.5 Coder e qwen3-coder. Qwen 2.5 Coder nelle taglie 14B o 32B è il riferimento locale per il codice; i modelli qwen3-coder in versione MoE sono velocissimi e capaci. Per il debugging pesante, le varianti DeepSeek Coder sono apprezzate come “partner di debug” che spesso restituiscono codice pronto all’uso. Per ingegneria del software ambiziosa, i modelli specializzati di frontiera come la famiglia Kimi K2.6 (MoE con 32 miliardi attivi su un trilione totale) sono i più capaci, ma richiedono hardware importante o cloud.

ollama pull qwen2.5-coder:14b   # o :32b se hai VRAM

Ragionamento, matematica, logica — DeepSeek R1 e Phi-4. I modelli “reasoning” ragionano passo passo prima di rispondere, generando una catena di pensiero interna. Su 16 GB, Phi-4 14B offre la miglior qualità per gigabyte su compiti analitici (con il limite del contesto corto da 16K, quindi non per documenti lunghi). DeepSeek R1 è il riferimento per il ragionamento (licenza MIT). Sono più lenti sulle richieste semplici perché generano molto testo interno: ottimi per problemi difficili, sprecati per la chiacchiera. Producono un blocco di ragionamento racchiuso tra marcatori (tipo <think>...</think>): è normale, e via API si filtra in post-elaborazione.

ollama pull deepseek-r1:14b
ollama pull phi4:14b

Contesti lunghissimi — Llama 4 Scout. Gestisce finestre di contesto enormi (fino a milioni di token), al prezzo di un’occupazione di memoria importante (decine di gigabyte). Utile quando devi dare in pasto al modello intere moli di testo in un colpo solo, per esempio per analizzare grandi archivi.

Una trappola da conoscere sui modelli “reasoning”. Molte sigle popolari nascondono modelli diversi: il vero DeepSeek R1 è un colosso da centinaia di miliardi di parametri che richiede hardware multi-GPU serio; tutte le taglie piccole con quel nome (1.5B, 7B, 8B, 14B, 32B) sono in realtà distillazioni — modelli base più piccoli addestrati a imitare lo stile di ragionamento dell’originale. Ereditano il modo di “pensare” ma non sono lo stesso modello. È una distinzione utile quando leggi i benchmark: assicurati di confrontare ciò che davvero farai girare.

I modelli di embedding e reranking (il motore nascosto del RAG)

Quando vorrai dare al modello la tua conoscenza tramite RAG (Parte V), un pezzo cruciale e spesso ignorato sono i modelli di embedding: piccoli modelli specializzati che trasformano il testo in rappresentazioni numeriche (vettori) catturandone il significato. La qualità del RAG dipende moltissimo da questi, perché decidono quanto bene il sistema “trova” i pezzi di documento giusti per ogni domanda. Un buon embedding è metà del lavoro di un buon RAG.

Il leggero più popolare — nomic-embed-text. Circa 137 milioni di parametri, 274 megabyte, contesto fino a 8.192 token, di gran lunga il più scaricato. L’equilibrio migliore tra dimensione e qualità per laptop e macchine modeste. La scelta predefinita sensata per cominciare. (Nota pratica: il suo contesto nativo è 8.192 token ma alcune configurazioni lo limitano a 2.048; imposta la finestra piena per sfruttarlo.)

ollama pull nomic-embed-text

Il workhorse multilingue di produzione — BGE-M3. Licenza MIT, copre oltre 100 lingue (italiano incluso e curato), e offre in un solo modello tre modalità di recupero (denso, sparso e multi-vettore), il che lo rende eccellente quando ti serve sia la ricerca semantica sia quella per parole chiave. È lo standard di fatto per molti RAG self-hosted seri. Spesso lo si abbina a un reranker (come BGE-reranker-v2) che riordina i risultati per pertinenza, migliorando ulteriormente la qualità.

Lo stato dell’arte aperto — Qwen3-Embedding. La famiglia Qwen3 di embedding (taglie da 0.6B fino a 8B) compete con le migliori API commerciali; il modello 8B, in Q4, occupa circa 5 GB e offre qualità di vertice. Disponibile in dimensioni di vettore flessibili (puoi scegliere quanto “grandi” gli embedding, bilanciando qualità e velocità). Per RAG ad alta posta — ricerca legale, intelligence competitiva, basi di conoscenza estese — è il riferimento aperto.

L’ultraleggero — all-MiniLM-L6-v2. Appena 23 milioni di parametri, 46 megabyte, il più efficiente in assoluto. Per ambienti con risorse minime dove la massima accuratezza non è critica.

Per il RAG multimodale (documenti con immagini, PDF complessi) esistono modelli di embedding che gestiscono testo e immagini insieme, come Qwen3-VL nelle taglie piccole: utili quando i tuoi documenti non sono solo testo ma contengono diagrammi, foto, scansioni.

La regola pratica: comincia con nomic-embed-text per semplicità; passa a BGE-M3 quando ti serve multilingue serio o ricerca ibrida; sali a Qwen3-Embedding-8B quando la qualità del recupero è critica e hai la VRAM. E, come per i modelli linguistici, prova sui tuoi documenti reali: l’embedding migliore è quello che trova bene i pezzi giusti sui tuoi dati.

Modelli multimodali e vocali: vedere, ascoltare, parlare

L’assistente non deve limitarsi al testo. Nel 2026 il locale gestisce immagini, voce e audio, tutto in casa. Ecco i pezzi.

Visione: modelli che guardano le immagini

Diversi modelli linguistici recenti sono multimodali: oltre al testo, “vedono” le immagini. Puoi mostrargli una foto e chiedergli di descriverla, leggere il testo che contiene, analizzare un diagramma, classificare un prodotto. Le famiglie Gemma e Qwen-VL hanno varianti con visione che girano in locale anche su hardware modesto. Per un’attività questo apre scenari concreti: leggere e catalogare foto di prodotti, estrarre dati da documenti scansionati, analizzare immagini caricate dagli utenti.

Ascoltare: trascrizione vocale con Whisper

Per convertire la voce in testo (STT, speech-to-text), lo standard locale è Whisper, il modello di riconoscimento vocale di OpenAI, open e gratuito, che gira interamente sul tuo hardware. Esistono implementazioni ottimizzate: whisper.cpp (leggerissima, gira con pochissima memoria, perfino sotto i 200 MB di RAM per i modelli piccoli) e faster-whisper (fino a quattro volte più veloce su CPU). Trascrive con qualità eccellente in moltissime lingue, italiano incluso. È il pezzo che permette di parlare all’assistente invece di scrivere, o di trascrivere riunioni, chiamate, dettature.

Parlare: sintesi vocale con Kokoro e Piper

Per dare voce all’assistente (TTS, text-to-speech), il locale nel 2026 è sorprendentemente buono. Due riferimenti. Kokoro-82M è il gioiello di efficienza: appena 82 milioni di parametri, licenza Apache 2.0 (libera anche commercialmente), gira in 2-3 GB di VRAM o perfino su CPU, offre 54 voci in 8 lingue con audio naturale, e ha raggiunto il vertice delle classifiche di qualità nonostante le dimensioni minime. Piper è il re dei dispositivi piccoli: gira in tempo reale sulla CPU (dieci volte più veloce delle alternative neurali), supporta 20+ lingue, ed è perfetto per voce locale a basso costo. Per chi vuole clonare una voce specifica o la massima espressività ci sono modelli più pesanti (Chatterbox, di qualità paragonabile alle migliori soluzioni commerciali per l’inglese; XTTS per la clonazione multilingue; Orpheus per l’espressività), ma per un assistente parlante naturale, Kokoro e Piper bastano e avanzano.

Lo stack vocale completo, pronto all’uso

Esiste un modo elegante per mettere insieme ascolto e voce: Speaches, un server open source (licenza MIT) compatibile con le API di OpenAI che fa per l’audio quello che Ollama fa per il testo. Usa faster-whisper per la trascrizione e Kokoro o Piper per la sintesi, espone un’API a cui collegare il resto, e supporta perfino conversazioni vocali bidirezionali in tempo reale via WebSocket. Si installa in container Docker come tutto il resto:

docker run -d \
  -p 8000:8000 \
  -v speaches-cache:/home/ubuntu/.cache/huggingface/hub \
  -e API_KEY=la-tua-chiave-segreta \
  -e WHISPER__COMPUTE_TYPE=int8 \
  ghcr.io/speaches-ai/speaches:latest-cpu

Combinando i tre pezzi — Whisper per ascoltare, il modello linguistico (via Ollama) per ragionare, Kokoro o Piper per parlare — costruisci un vero assistente vocale che gira interamente in casa, senza che una sola parola pronunciata raggiunga server esterni. Su una macchina con una GPU da 24 GB e un modello MoE da 20-30 miliardi, un’interazione vocale completa (parli, lui capisce, ragiona e risponde a voce) avviene in uno-due secondi, competitiva con gli assistenti commerciali. Nella Parte V vediamo come orchestrare questa pipeline. È, in piccolo, il tuo Alexa privato — solo che è tuo, lo chiami come vuoi, e non ti ascolta nessun altro.

Arriviamo alla domanda che tutti fanno: “come faccio a insegnargli le mie cose?”. Il listino dei prodotti, i manuali, le procedure, la storia dell’azienda. E poi: come gli do una personalità? Come gli faccio compiere azioni, non solo rispondere? Come gli do la voce? Questa parte risponde, dalla tecnica più semplice alla più avanzata.

← Software e installazioneRAG e personalizzazione →

Vuoi la tua AI privata, accesa e funzionante?

In Terabyte Lab progettiamo, assembliamo e configuriamo la macchina su misura: hardware, modello, RAG, voce e sicurezza, pronti all'uso.

Contatta Terabyte Lab