Предобучение — первая и самая долгая стадия: модель учат на большом разнородном корпусе одной общей задаче, например, восстанавливать по части целое. Полученные веса не привязаны ни к какому применению и служат заготовкой сразу для множества непохожих задач. Стадия требует огромных вычислений, проводится редко, а её результат используют многократно.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.