Meta удвоила эффективность обучения рекламной модели на LLM-масштабе
GEM — foundation-модель для рекламы в Instagram и Facebook — теперь тренируется на тысячах GPU и достигла 20–25% MFU (Model FLOPs Utilization) при четырёхкратном росте FLOPs за год. Для этого пришлось изобрести собственные ядра (Jagged Flash Attention, GDPA, BlockAttention), смешанную точность MXFP8 и 5D-параллелизм с учётом топологии сети Meta.