Разметка — этап до обучения, на котором люди приписывают примеру ответ, которого в самих данных нет: обводят предмет на снимке, относят запись к категории, пишут образец ответа на вопрос. Размеченные данные и задают то, что модель должна воспроизвести. Работа медленная и дорогая, поэтому размечают лишь часть корпуса.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.