Переобучение: когда сеть зубрит

Нейросеть обучили на 1000 примерах кошек и собак. На тренировочных данных — 99% точность. На новых фотографиях — 60%. Сеть не обобщила, она запомнила. Это переобучение (overfitting): модель минимизирует потери на тренировочной выборке, но её функция потерь на тестовой выборке растёт. Формально — модель подстраивается под шум в данных, а не под сигнал. Байес-оптимальный классификатор всегда обобщает, потому что оценивает P(y|x) по всему распределению. Переобученная сеть оценивает P(y|конкретный пример). Это разные задачи.