Градиентный спуск — процедура обучения: модель отвечает на примеры, ошибка измеряется, все веса сдвигаются в сторону её уменьшения, и цикл повторяется, как правило, многие тысячи раз. Одна правка меняет ответы едва заметно, итог складывается из множества таких правок. Останавливаются, когда ошибка перестаёт убывать или заканчивается отведённое время.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.