Byte Transformers обходят токенизированные модели на масштабировании — 3.4× больше принятых токенов
Исследователи показали, что плоские byte Transformer с token-superposition обучением и hash-эмбеддингами стабильно превосходят subword модели при росте числа параметров. Модели строят локальные текстовые абстракции без явной токенизации, а использование этих структур для спекулятивного декодирования даёт в 3.4 раза больше принятых токенов, чем в subword аналогах.