Модель Bonsai от PrismML хранит веса по одному биту плюс 16-битный масштаб на 128 весов, давая 1.125 бита на параметр. Перплексия 16.5 против 12.3 у Qwen3-1.7B. Косинусное сходство с Qwen всего 0.49, тогда как у наивного округления — 0.79. Попытка повторить послойным решателем привела к перплексии 923k, что указывает на использование обучения или дистилляции.
Transformers научились загружать GGUF-модели через from_pretrained, используя ggml-ядра для производительности, близкой к llama.cpp. Первый фокус — Apple Silicon и архитектура Qwen3.5. Рекомендуемый квант Q4_K_M (2.74 ГБ для 4B-модели).
Метод QAH дистиллирует сжатый 4-битный студент напрямую из оригинальной full-precision модели, а не из восстановленного чекпоинта. GPT-OSS 120B → 60B в MXFP4 превзошёл bfloat16-версию на 7 из 9 бенчмарков, став одновременно меньше, быстрее и точнее.
На Reddit появился трекер обновлений для 1-битных, 2-битных и тернарных моделей (Bitnet). Детали не опубликованы — только заголовок.
Подробности не раскрыты — известно только, что новая техника распределения квантования на уровне тензоров даёт прирост производительности на задачах программирования. Цифры и методология пока не опубликованы.
В посте Qwen 3.6 27B называют sweet spot для локальной разработки, и комментарии на HN это, судя по всему, проглотили с аппетитом: 727 очков и 548 комментариев. Самое занятное тут не маркетинг, а то, что люди всерьёз обсуждают 27B-модель как удобный вариант для запуска у себя, а не только в облачной империи.