Modelli AI locali / Guida

AI locale: RAM, VRAM e quantizzazione spiegate

Come preparare il primo esperimento con un LLM locale e leggere i risultati senza confondere modello e programma.

Date delle verifiche documentali
  • Fonti e procedure: · offload CPU/GPU in llama.cpp, memoria del contesto e verifica delle allocazioni in Ollama

Ogni data riguarda la voce indicata. L’aggiornamento editoriale e la verifica delle fonti sono registrati separatamente.

Dove va la memoria: PESI — Parametri del modello · formato e quantizzazione; CONTESTO — Cronologia e cache · dipendono dalla richiesta; ESECUZIONE — Buffer e runtime · servono oltre ai pesi.
Schema esplicativoDove va la memoria: PESI — Parametri del modello · formato e quantizzazione; CONTESTO — Cronologia e cache · dipendono dalla richiesta; ESECUZIONE — Buffer e runtime · servono oltre ai pesi. · NexastraTech / Schema editoriale · Fonte tecnica

Modello e programma sono due cose diverse

Il modello contiene i parametri usati per generare le risposte. Il programma di esecuzione lo carica e gestisce richieste e memoria. Strumenti come llama.cpp e Ollama permettono di lavorare con modelli sul proprio computer; controlla formato, architettura supportata e licenza del modello scelto.

Il file non è tutta la memoria necessaria

La dimensione del modello sul disco è un punto di partenza. Durante l'esecuzione servono anche memoria per il contesto, cache e altre strutture. Il fabbisogno varia con modello, programma e impostazioni. Non promettere un certo numero di token al secondo sulla base della sola GPU.

Quantizzazione e contesto

Una quantizzazione riduce la precisione con cui sono rappresentati i parametri, con compromessi da verificare sul proprio compito. Confronta varianti dello stesso modello usando richieste identiche. Parti da un contesto contenuto e aumentalo soltanto quando serve: un limite massimo supportato non è una configurazione obbligatoria.

Un primo esperimento ripetibile

  1. Annota CPU, RAM, GPU, VRAM e sistema operativo.
  2. Scegli modello, formato e variante compatibili con il programma.
  3. Registra versione del programma, contesto e impostazioni.
  4. Ripeti gli stessi prompt, distinguendo elaborazione del testo in ingresso e generazione.
  5. Valuta correttezza e utilità delle risposte insieme alla velocità.

Locale significa controllare anche le connessioni

Verifica se stai usando un modello locale o un servizio cloud, e quali strumenti possono accedere alla rete. Non pubblicare un endpoint di inferenza senza le protezioni necessarie. Per iniziare, preferisci una configurazione accessibile soltanto dal tuo computer.

Fonti e prossimo passo

llama.cpp e FAQ Ollama, consultati il 4 ottobre 2026. Per l'hardware consulta Schede video.

Dal file alla memoria occupata

La dimensione del GGUF è soltanto il punto di partenza: controlla le allocazioni di pesi, cache e buffer dopo l’avvio. Se il modello non entra, riduci prima il contesto e verifica il supporto del formato nel backend. Il diario delle prove mostra un caso concreto di diagnosi della memoria.

Diagnosi quando il modello entra ma la richiesta fallisce

  1. Conserva l’errore e le allocazioni riportate all’avvio: pesi, cache e buffer.
  2. Chiudi le altre applicazioni che occupano GPU e ripeti una richiesta breve.
  3. Riduci il contesto mantenendo lo stesso modello, per isolare il costo della cache.
  4. Verifica supporto del formato e del backend nella versione effettivamente installata.
  5. Solo dopo cambia quantizzazione o offload, annotando quale variabile hai modificato.

Un processo avviato non dimostra che tutte le richieste possibili entrino in memoria. Anche più richieste contemporanee e il percorso visivo possono cambiare le allocazioni. La documentazione di llama-server descrive le opzioni: confrontale con l’help della tua build, perché nomi e comportamento possono variare.

Controlla il caricamento effettivo

In Ollama esegui ollama ps: la colonna Processor distingue caricamento su CPU, GPU o misto. Ripeti la prova con lo stesso modello e lo stesso contesto dopo ogni modifica. Annota anche quante richieste sono attive: la memoria necessaria non si deduce dalla dimensione del download.

Verifica circoscritta del 9 ottobre 2026: offload CPU/GPU in llama.cpp, memoria del contesto e verifica delle allocazioni in Ollama. Fonti ufficiali collegate nell’articolo; nessun nuovo test di prestazioni eseguito.

Snack al Tanuki

Offri uno snack al Tanuki

Tra una guida e una ricerca, anche il nostro Tanuki si prende una pausa snack! Se NexastraTech ti è stato utile, puoi lasciare un piccolo contributo per sostenere il progetto.

Bitcoin (BTC) · rete Bitcoin standard
Contributo libero, senza importo prestabilito.

QR dell’indirizzo Bitcoin per sostenere NexastraTech

Invia solo BTC sulla rete Bitcoin. Questo QR contiene l’indirizzo mostrato qui sopra; non è un pagamento Lightning.

Grazie per dare una zampa a NexastraTech 🐾

Apri la pagina dedicata