После предобучения модель проходит стадию, на которой для одного запроса собирают несколько её ответов, а люди расставляют их по предпочтению. Из сравнений строится обучающий сигнал — нередко через отдельную оценивающую модель, — и по нему правят веса дальше. Образцового ответа на этой стадии никто не пишет.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.