Закон масштабирования — измеренная зависимость ошибки предсказания от трёх величин: объёма обучающих данных, числа параметров и потраченных вычислений. В измеренных границах ошибка убывает плавно, что позволяет оценить выигрыш до начала обучения. Зависимость получена в этих границах и продолжения за ними не обещает; как ошибка связана с качеством на задачах, она не говорит.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.