Xiaomi выложила MiMo V2.5-Pro с триллионом параметров под MIT — активны только 4%
Флагманская модель MiMo V2.5-Pro содержит 1.02 трлн параметров, но активны лишь 42 млрд на токен (384 эксперта, выбираются 8). Контекст — до 1 млн токенов, 60 из 70 слоев смотрят только на 128 предыдущих токенов. Веса открыты под MIT, но данные и пайплайн обучения не раскрыты.