Скорость обучения — множитель, задающий, насколько сильно веса сдвигаются за одну правку. Крупный шаг перебрасывает через подходящее значение, и ошибка начинает скакать; мелкий растягивает обучение надолго и оставляет модель в первом попавшемся неглубоком положении. Обычно шаг задают убывающим по ходу обучения.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.