Эпоха — один полный проход обучения по всем имеющимся примерам. За единственный проход веса устояться не успевают, поэтому небольшие наборы прогоняют обычно по многу раз. Обучение большой модели устроено иначе: корпус так велик, что его проходят считаные разы, а иногда и один раз.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.