Переобучение — состояние, при котором модель точно воспроизводит обучающие примеры, но на отложенных данных ошибается заметно чаще. Настройка зашла слишком далеко: параметры подстроились под случайные особенности конкретных примеров, а не под общее соотношение. Обнаруживают переобучение именно по расхождению: ответы на знакомых примерах остаются точными, на невстречавшихся точность падает.
54 карточки о вычислениях и данных: как непрерывное становится числом, как устроены алгоритмы и структуры хранения, почему сеть считается ненадёжной, чем хеш отличается от шифра и что модель делает с обучающей выборкой.