Che cos’è e chi lo sviluppa
Bonsai 2 27B è il modello di PrismML derivato da Qwen3.8-27B. Conserva l’architettura di base e rappresenta gran parte dei pesi con valori ternari: meno spazio per conservare il modello, con un programma di esecuzione specifico. Non va confuso con Bonsai 27B della generazione precedente.
Specifiche verificate
La scheda ufficiale distingue PTQ1_0, circa 5,95 GB, e PQ2_0, circa 7,21 GB. Sono dimensioni dei pesi del modello linguistico, non della memoria totale necessaria. Il contesto dichiarato è 262.144 token; per leggere immagini serve anche il proiettore visivo compatibile. La licenza indicata è Apache 2.0.
Come funziona nell’uso locale
Il punto decisivo è usare il fork di llama.cpp e la versione indicati nel progetto Bonsai-demo. Un file GGUF può avere una struttura riconoscibile ma contenere tipi di pesi o trasformazioni non supportati dal programma standard. La scelta fra CUDA, CPU, Metal e altri backend deve quindi partire dalla combinazione formato/versione documentata: non basta vedere il nome della propria GPU nell’elenco dei dispositivi.
Utilizzi e valutazione pratica
È una scelta da esplorare quando interessa una classe 27B e il limite principale è la memoria. Per il coding, prova una modifica piccola in un progetto reale: chiedi una patch, esegui i test e verifica che non abbia alterato file fuori richiesta. Per documenti lunghi, valuta separatamente il tempo necessario a leggere il prompt e quello di generazione: una risposta veloce a una domanda breve non misura la gestione di un’intera repository.
Dal mio PC: CUDA e il tentativo con la RX 570
Il 1 ottobre 2026 ho caricato Ternary-Bonsai-2-27B-PQ2_0.gguf, circa 6,70 GiB, con la build CUDA con la RTX 5070 12 GB. I log riportano il server in ascolto con contesto configurato a 131.072 token. Nella configurazione abbiamo usato anche KV a 4 bit e proiettore multimodale sulla CPU.
Il passaggio precedente alla RX 570 8 GB con Vulkan era stato meno lineare: buffer CPU_REPACK, problemi di adattamento alla memoria e tentativi terminati durante l’avvio. Quel percorso mi ha insegnato a controllare i buffer effettivi, oltre alla riga sull’offload. Il contesto configurato descrive la sessione avviata, non una conversazione che abbia riempito 131k token. Il diario delle prove raccoglie questi passaggi.
Da dove iniziare
- Apri la scheda ufficiale e identifica checkpoint, formato e revisione.
- Controlla la compatibilità del programma prima del download.
- Prova una richiesta breve e registra memoria, tempi e correttezza.
- Aumenta contesto e accesso agli strumenti soltanto dopo la prima verifica.
Download e fonti ufficiali
Scheda del modello, file e documentazione del produttore, consultati il 5 ottobre 2026. Specifiche ufficiali e proposte di valutazione sono distinte dalle eventuali prove informali del progetto.