Modello, contesto e backend devono essere valutati insieme alla memoria della scheda video.
Parti dal software che vuoi usare
Prima di confrontare GPU, scegli il modello e il programma che lo eseguirà. Formato dei pesi, quantizzazione, sistema operativo e backend determinano quali configurazioni sono supportate. La documentazione NVIDIA invita a considerare architettura e memoria insieme ai requisiti software. Non basta cercare la scheda con il maggior numero di gigabyte: una quantità adeguata di VRAM è utile soltanto se il percorso di esecuzione funziona sul tuo hardware.
Pesi e contesto occupano memoria
La dimensione del file del modello non è il consumo totale durante l’esecuzione. Oltre ai pesi servono memoria per il contesto, buffer e altre risorse del programma. Quantizzazione e impostazioni della cache possono cambiare il fabbisogno. Per questo un modello che entra con una conversazione breve potrebbe non funzionare con lo stesso margine a contesto molto più lungo. Evita soglie universali ricavate dal solo nome del modello o dal numero di parametri.
Il caricamento non è un benchmark
Aprire il modello dimostra soltanto che quella configurazione riesce a caricarlo. Per valutare l’esperienza osserva tempi di elaborazione della richiesta e generazione, usando lo stesso prompt e le stesse impostazioni. Se una parte del lavoro passa alla CPU, il comportamento può cambiare sensibilmente. Annota versione del backend, memoria libera e numero di richieste simultanee. Valori ottenuti con quantizzazioni o contesti diversi non sono un confronto diretto.
Una prova pratica di capacità
- Chiudi i programmi che usano la GPU e annota la memoria libera prima di caricare il modello.
- Registra nome del modello, formato, quantizzazione, backend e versione; mantieni queste impostazioni per tutte le prove.
- Avvia una richiesta breve e osserva memoria occupata, tempo prima della risposta e ritmo di generazione.
- Aumenta progressivamente il contesto e ripeti lo stesso compito. Annota quando il margine si riduce o parte del lavoro passa alla CPU.
- Ripeti con il contesto che userai davvero: una chat breve e un documento lungo pongono esigenze diverse.
Leggere il risultato
Dividi il budget in pesi del modello, cache del contesto e risorse di esecuzione. Conserva un margine per display e altre applicazioni invece di pianificare un uso costante di tutta la VRAM disponibile. Se il programma esaurisce la memoria, cambia una sola impostazione alla volta: contesto, quantizzazione o quota di lavoro sulla GPU. Potrai così distinguere il limite di capacità da un problema di supporto software.
Per scegliere una scheda e confrontare alimentazione, ingombro e uso gaming, continua con la guida alla scelta della GPU. Qui il risultato utile è una configurazione ripetibile del modello, con un fabbisogno misurato sul tuo carico.


