Функция потерь — правило, по которому расхождение между полученным и ожидаемым ответом превращается в одно число: чем оно больше, тем сильнее промах. Вид правила зависит от задачи — для выбора категории и для предсказания величины он разный. Обучение сводится к уменьшению этого числа на обучающих примерах.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.