Градиент — набор чисел по одному на каждый вес: каждое показывает, насколько и в какую сторону изменится ошибка, если этот вес чуть сдвинуть. Знак указывает сторону, в которую ошибка растёт, а вес двигают против неё; величина — чувствительность ошибки к этому сдвигу. Считают такой набор сразу для всех весов на одном и том же обучающем материале.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.