Kimi K3: открытая модель обходит закрытых лидеров за счёт трёх хаков
Китайская Kimi K3 с открытыми весами обходит GPT и Anthropic на части бенчмарков. Секрет — в трёх инженерных решениях: фиксированная матрица состояния S вместо KV-кэша (контекст 1M токенов), распараллеливание последовательного обновления (FlashKDA) и балансировка 512 экспертов (Auxiliary Loss-Free Balancing). Каждое решение спасало модель от численного коллапса или простоя экспертов.