Исследователи показали, что плоские byte Transformer с token-superposition обучением и hash-эмбеддингами стабильно превосходят subword модели при росте числа параметров. Модели строят локальные текстовые абстракции без явной токенизации, а использование этих структур для спекулятивного декодирования даёт в 3.4 раза больше принятых токенов, чем в subword аналогах.
Microsoft официально подтвердила, что OpenAI применяет Looped Transformers в серии GPT-6. Детали архитектуры, размер модели или дата релиза не раскрываются — известно только из заголовка.
Transformers научились загружать GGUF-модели через from_pretrained, используя ggml-ядра для производительности, близкой к llama.cpp. Первый фокус — Apple Silicon и архитектура Qwen3.5. Рекомендуемый квант Q4_K_M (2.74 ГБ для 4B-модели).
Интерактивный инструмент Transformer Explainer наглядно объясняет архитектуру на примере GPT-2 small (124M параметров). Пошагово показаны токенизация, эмбеддинги (768-мерные векторы), self-attention и MLP. Векторная таблица встраиваний содержит ~39 млн параметров.