Обучение без ручной разметки устроено так: часть данных скрывают и требуют от модели восстановить скрытое, а сверить есть с чем — оно известно заранее. На снимке убирают участок, в записи звука — отрезок. Размеченной становится любая доступная запись, и примеров выходит столько же, сколько данных.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.