Модельный коллапс — деградация моделей, обучаемых на текстах, порождённых предшественницами, когда такие тексты замещают в корпусе прежние, а не добавляются к ним. В опытах на последовательных поколениях обучения редкие варианты исчезали первыми, ответы стягивались к частым и усреднённым, а искажения накапливались от поколения к поколению.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.