Однобитная Bonsai: 27B параметров упакованы в 4 ГБ, но веса не похожи на исходные
Модель Bonsai от PrismML хранит веса по одному биту плюс 16-битный масштаб на 128 весов, давая 1.125 бита на параметр. Перплексия 16.5 против 12.3 у Qwen3-1.7B. Косинусное сходство с Qwen всего 0.49, тогда как у наивного округления — 0.79. Попытка повторить послойным решателем привела к перплексии 923k, что указывает на использование обучения или дистилляции.