Флагманская модель MiMo V2.5-Pro содержит 1.02 трлн параметров, но активны лишь 42 млрд на токен (384 эксперта, выбираются 8). Контекст — до 1 млн токенов, 60 из 70 слоев смотрят только на 128 предыдущих токенов. Веса открыты под MIT, но данные и пайплайн обучения не раскрыты.
Qwen выложила open-weights Qwen3.8-Flash-Next — мультимодальную MoE-модель, которую называют ранним превью архитектуры Qwen4. При суммарном размере 125B активны только 6B; Саймон Уиллисон уже гонял её на DGX Spark в квантованиях Unsloth (72.5GB UD-IQ1_S и 78.9GB UD-Q2_K_XL).
Martin Alderson разбирает GLM 5.2 и использует его как повод поговорить о том, что у моделей и инфраструктуры может случиться collapse по марже. Пост звучит не как очередной "смотрите, новая модель", а как попытка посчитать экономику всей этой генеративной магии, где за токены кто-то всё равно платит.