Пакет — группа примеров, по которой считается одна правка весов. Ошибка усредняется по всему пакету, поэтому случайная особенность отдельного примера сдвигает модель слабее. Размер пакета ограничен памятью вычислителя: все примеры обрабатываются одновременно, и чем их больше, тем выше расход памяти на время правки.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.