Материал, который пишут люди, вносит в корпус то, чего в выходах самих моделей нет: новые события, редкие обороты, непривычные суждения. Опыты с несколькими поколениями обучения показали, что без свежего человеческого материала качество следующей модели снижается. Поэтому дальнейшее обучение упирается в доступ к написанному людьми и в умение отличать его от машинного.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.