Intelligenza Artificiale Locale

L’intelligenza artificiale locale esegue il modello su un PC, una workstation o un server sotto il tuo controllo. Può funzionare anche senza Internet dopo aver scaricato modelli e dipendenze, ma occorre verificare che interfacce, plugin e API non inoltrino dati a servizi esterni. Non significa automaticamente zero costi: restano hardware, energia, manutenzione e attività di sicurezza. Questa guida collega i requisiti tecnici ai casi d’uso e ai servizi di Terabyte Lab.

I vantaggi potenziali riguardano controllo dei flussi di dati, latenza e autonomia operativa, non una conformità GDPR garantita dalla sola installazione. Prima di scegliere valuta tipo di dati, responsabilità privacy, spese complessive e costo rispetto al cloud. Un progetto serio inizia dall’uso reale: ricerca nei documenti, assistenza interna o automazione controllata.

Per partire servono tre cose: l’hardware giusto (dove la VRAM conta più di tutto), il software (Ollama con Open WebUI, in Docker), e il modello LLM adatto al tuo compito. Prima ancora, aiuta capire come funziona un modello.

Una volta in piedi, lo personalizzi con il RAG e gli agenti, e lo porti in produzione collegandolo al sito in sicurezza. Per ispirazione, ecco cosa si può costruire.

Esplora la guida, sezione per sezione

La guida è organizzata in approfondimenti atomici: ognuno risponde a una domanda precisa e si può leggere da solo.

• Cos’è l’Intelligenza Artificiale Locale e Perché Conviene — Introduzione.
• Come Funziona un LLM in Locale: Parametri, VRAM, Quantizzazione — Concetti tecnici.
• Hardware per l’AI Locale: GPU, VRAM e Memoria Unificata — Hardware.
• Quanto Costa l’AI Locale: Fasce di Budget e Confronto col Cloud — Costi e fasce.
• Software per l’AI Locale: Ollama, Open WebUI e Docker — Software e installazione.
• I Migliori Modelli LLM da Usare in Locale (2026) — Modelli.
• RAG, Fine-tuning e Agenti: Dare Conoscenza all’AI Locale — RAG e personalizzazione.
• Mettere l’AI Locale in Produzione: API, Sito Web e Sicurezza — Produzione e sicurezza.
• Cosa Costruire con l’AI Locale: Idee e Casi d’Uso — Applicazioni.
• AI Locale, Privacy e GDPR: Perché Conviene alle Aziende — Privacy e GDPR.
• Risoluzione Problemi dell’AI Locale: Errori Comuni e Soluzioni — Troubleshooting.

Dove sta andando: 2026-2027

Vale la pena alzare lo sguardo, perché il ritmo è impressionante e capire la direzione aiuta a comprare bene oggi.

La tendenza più chiara è che i modelli diventano più capaci a parità di dimensione. Quello che un anno fa richiedeva un 70B oggi lo fa un 27B, e l’anno prossimo qualcosa di più piccolo ancora. I MoE hanno accelerato il processo, regalando qualità da modello grande a costo di modello piccolo. Significa che l’hardware che compri oggi ti darà modelli sempre migliori nel tempo, senza cambiare ferro: un investimento che cresce con il software.

La seconda direzione è la memoria unificata. La classe Spark, i mini PC con grandi pozze di memoria condivisa, i Mac di fascia alta stanno spostando il collo di bottiglia: non più i 24 o 48 GB di una scheda, ma 128 GB e oltre in scatole minuscole. Questo apre i modelli giganti a chi non ha un data center, ed è probabilmente la traiettoria dell’hardware AI personale dei prossimi anni.

La terza è la maturazione delle NPU, le unità dedicate all’AI integrate nei processori. Oggi aiutano sui compiti leggeri; tra una o due generazioni faranno girare modelli sempre più seri con consumi bassissimi, rendendo l’AI locale ancora più diffusa e accessibile, perfino su dispositivi piccoli.

Sul software, gli agenti autonomi sono la frontiera: non solo assistenti che rispondono, ma sistemi che ragionano, decidono ed eseguono. Gli standard per collegarli agli strumenti (come l’MCP) stanno maturando, e questo trasformerà gli assistenti da “consulenti che parlano” a “colleghi digitali che fanno”. È probabilmente la trasformazione più importante in arrivo.

Infine, il multimodale locale: modelli che gestiscono testo, immagini, audio e presto video insieme, tutto in casa. Già oggi diversi modelli leggeri vedono le immagini; domani sarà la norma. L’assistente locale del 2027 non leggerà solo i tuoi documenti: guarderà le tue foto, ascolterà le tue registrazioni, ragionerà su tutto insieme.

La lettura d’insieme è incoraggiante per chi investe ora: l’hardware comprato oggi non invecchia in fretta sul piano della capacità, perché i modelli migliorano e si alleggeriscono. Comprare bene oggi significa avere uno strumento che cresce, anziché diventare obsoleto.

Glossario essenziale

Banda di memoria — quanti gigabyte al secondo la GPU legge dalla sua memoria; il vero collo di bottiglia della velocità di generazione.

Cache KV — struttura che il modello tiene in memoria per gestire il contesto; cresce con la lunghezza del contesto e occupa VRAM oltre al modello.

Contesto (finestra di) — quanto testo il modello può tenere “davanti agli occhi” mentre lavora, misurato in token; è memoria di lavoro temporanea.

CUDA / ROCm / oneAPI — gli stack software per usare le GPU rispettivamente NVIDIA, AMD e Intel per il calcolo.

Dense — modello in cui ogni token attiva tutti i parametri; più pesante dei MoE a parità di capacità.

Embedding — rappresentazione numerica del significato di un testo, cuore del RAG; prodotta da modelli di embedding dedicati.

Fine-tuning — riaddestrare un modello su dati propri per modificarne il comportamento; tecniche leggere come LoRA/QLoRA lo rendono fattibile su workstation.

GGUF — il formato file standard per i modelli quantizzati nell’uso locale.

Inferenza — l’atto di usare un modello già addestrato per generare risposte (distinto dall’addestramento).

MoE (Mixture of Experts) — modello con molti parametri totali ma pochi attivi per token; qualità da modello grande, velocità da piccolo.

MCP (Model Context Protocol) — standard emergente per collegare i modelli a strumenti e dati in modo riutilizzabile.

Parametri — le connessioni interne apprese dal modello, misurate in miliardi (B); indicano la “taglia”.

Prefill / Decode — le due fasi della generazione: leggere l’input (prefill, veloce, limitato dal calcolo) e produrre la risposta token per token (decode, limitato dalla banda di memoria).

Prompt di sistema — le istruzioni di base che definiscono identità e comportamento dell’assistente.

Quantizzazione — ridurre la precisione dei parametri (es. a 4 bit) per far pesare meno il modello, con perdita di qualità minima; Q4_K_M è la scelta predefinita sensata.

RAG (Retrieval-Augmented Generation) — dare al modello documenti da consultare al momento giusto, invece di addestrarlo; la via giusta per dargli conoscenza nella maggior parte dei casi.

Reranking — riordinare i pezzi recuperati dal RAG per pertinenza, migliorando la qualità delle risposte.

STT / TTS — riconoscimento vocale (speech-to-text, es. Whisper) e sintesi vocale (text-to-speech, es. Kokoro, Piper).

Token — i pezzetti di testo su cui lavora il modello; una parola italiana vale circa un token e mezzo.

Token al secondo (tok/s) — la misura della velocità di generazione; sopra i 15 è fluido, sopra i 40 istantaneo.

Tool use / Function calling — la capacità del modello di usare strumenti esterni (interrogare database, sistemi, web) per agire, non solo rispondere.

VRAM — la memoria della GPU; il fattore numero uno: decide quali modelli puoi caricare.

Memoria unificata — architettura (Apple Silicon, AMD Ryzen AI Max, classe Spark) dove CPU e GPU condividono una grande memoria veloce, permettendo modelli enormi in formato compatto.