La tappa storica
GPT-J 6B è un modello autoregressivo del 2021 legato alla comunità EleutherAI e al progetto Mesh Transformer JAX di Ben Wang. I pesi accessibili permisero a sviluppatori e ricercatori di sperimentare un modello di taglia significativa al di fuori di un servizio chiuso. È una tappa della storia dei modelli aperti, non l’origine assoluta del settore.
Che cosa cambiò
La scheda ufficiale riporta circa 6,05 miliardi di parametri, 28 strati e un contesto di 2.048 token. L’addestramento utilizza The Pile; la documentazione sottolinea l’orientamento all’inglese e alla continuazione del testo. I pesi sono distribuiti con Apache 2.0. Il modello di base non fu istruito per comportarsi come ChatGPT.
Come leggerlo e provarlo
Per capirne l’uso, prepara un breve testo inglese con una struttura riconoscibile e chiedi una continuazione. Il punto da osservare è se il modello mantiene stile e schema, non soltanto se produce frasi corrette. Una richiesta italiana può essere interessante come confronto, ma non dimostra il supporto multilingue di un modello addestrato per l’inglese.
Hardware: pesi e memoria totale
Sei miliardi di parametri a 16 bit valgono approssimativamente 12 GB di soli pesi. È un calcolo nominale, da non confondere con la dimensione di un archivio compresso o con la memoria completa del processo. Una GPU con 12 GB non avrebbe quindi automaticamente spazio anche per contesto e strutture di esecuzione. Precisioni inferiori e offload sono scelte da verificare nella specifica implementazione.
Ha ancora senso nel 2026?
Oggi è soprattutto un riferimento per studiare il contributo della comunità e i primi workflow con pesi disponibili. Per un assistente moderno, valuta modelli istruiti sul tuo compito. Per replicare un esperimento storico conserva la revisione del modello e registra le differenze del programma usato: eseguirlo con strumenti aggiornati non ricrea automaticamente le prestazioni del 2021.
Seguire la storia
Questi sei approfondimenti sono una selezione di tappe fra il 2019 e il 2023, non una storia completa dell’intelligenza artificiale. Gli esperimenti moderni con Bonsai e GLM sono trattati separatamente, senza attribuire ai vecchi modelli risultati misurati su altri checkpoint.
Fonti originali e documentazione
Fonti consultate il 5 ottobre 2026. Le date del modello descrivono l’evento storico; la data dell’articolo indica la pubblicazione su NexastraTech. Le stime di memoria sono calcoli nominali a 2 byte per parametro, in GB decimali, non benchmark o requisiti garantiti.