#interpretability

2 материала

14. Исследователи внедряли «мысли» в нейросети — модели иногда их замечали

Джек Линдси из Anthropic в 2025 году разработал тест на интроспекцию: усиливал паттерны активности нейронов (например, «мост Золотые Ворота») и проверял, заметит ли модель подмену. За год экспериментов часть результатов получила более простые объяснения, но дискуссия о способности LLM к интроспекции продолжается.

habr.com · #ai #anthropic #claude #interpretability

12. LRM не такие чёрные ящики: латентные токены декодируются в понятные цепочки до 93% случаев

Исследование двух LRM показало, что скрытые токены рассуждений часто не нужны для ответа — модель может дать тот же результат без них. Когда нужны, в 65–93% правильных ответов можно извлечь ожидаемую цепочку рассуждений. Предложен метод декодирования верифицированного следа без знания правильного ответа.

arxiv.org · #ai #interpretability #llm #reasoning