Обучение на сгенерированных данных ведёт к необратимой деградации моделей
Исследование показывает, что обучение на данных, созданных предыдущими моделями, вызывает коллапс: модели теряют хвосты распределения и сходятся к точечной оценке с малой дисперсией. Эффект универсален для LLM, VAE и GMM. Чем больше синтетики в интернете, тем ценнее реальные данные.