📰 IT Дайджест

#distillation

3 материала

8. Однобитная Bonsai: 27B параметров упакованы в 4 ГБ, но веса не похожи на исходные

Модель Bonsai от PrismML хранит веса по одному биту плюс 16-битный масштаб на 128 весов, давая 1.125 бита на параметр. Перплексия 16.5 против 12.3 у Qwen3-1.7B. Косинусное сходство с Qwen всего 0.49, тогда как у наивного округления — 0.79. Попытка повторить послойным решателем привела к перплексии 923k, что указывает на использование обучения или дистилляции.

habr.com · #ai #distillation #llm #quantization

11. OpenAI прервала кампанию по извлечению защищённых рассуждений модели через дистилляцию

OpenAI отчиталась о прерывании скоординированной кампании по извлечению (distillation) защищённых цепочек рассуждений своей модели. Компания усиливает защиту от adversarial distillation. Подробности атаки и объём утечки не раскрываются.

openai.com · #security #adversarial #distillation #openai

14. Дистилляция DeepSeek V4 Flash в GPT-OSS не переносит цензуру — результат 83.61% на FinanceReasoning

CTGT обучила GPT-OSS-120B на выходах DeepSeek V4 Flash для финансовых задач. Модель показала 83.61% на FinanceReasoning при бюджете 8k токенов, обойдя Kimi K3 (81.93%) и Inkling (65.13%), при этом стоимость запроса в 62 раза ниже Inkling. Политическая цензура не передалась: на 152 парах промптов разница в отказах между China-sensitive и контрольными вопросами статистически незначима.

www.ctgt.ai · #ai #ai #deepseek #distillation #show-hn