27-Milliarden-Parameter-Modell läuft jetzt auf Laptops und Smartphones

PrismML hat Bonsai 27B veröffentlicht – eine stark quantisierte Variante des Qwen3.6-27B-Modells, die in zwei Ausführungen erscheint. Die ternäre Variante nutzt Gewichte aus {−1, 0, +1} bei 1,71 Bit pro Gewicht und belegt dabei nur 5,9 GB Speicher; die 1-Bit-Variante arbeitet mit binären Gewichten {−1, +1} und ist noch kompakter. Beide Varianten stehen unter der Apache-2.0-Lizenz zur freien Nutzung bereit. Entscheidend: Die zugrunde liegende Modellarchitektur bleibt unverändert – es handelt sich um eine Quantisierung, nicht um ein neu trainiertes Modell. Damit ist ein leistungsfähiges Sprachmodell dieser Größenklasse erstmals ohne Cloud-Anbindung auf handelsüblicher Consumer-Hardware betreibbar.