1.4.4 — Обобщающая способность модели

Результаты обучения

После изучения урока вы сможете:

• Объяснять обобщающую способность как качество работы модели на новых примерах из целевой среды.
• Различать эмпирический риск на конечной выборке и ожидаемый риск на неизвестном распределении.
• Интерпретировать разрыв между обучающей и тестовой ошибкой, не превращая его в безусловную гарантию.
• Выбирать схему разбиения с учётом классов, групп и времени.
• Распознавать утечку данных и типы сдвига распределения.
• Описывать ограничения тестовой оценки и необходимость мониторинга после внедрения.

1. Что именно означает обобщение

Представим модель, которая оценивает вероятность отказа насоса по температуре, вибрации и давлению. Если она хорошо работает на тех же измерениях, на которых обучалась, это ещё не говорит, что она распознает отказ на другом насосе, в другом цехе или в следующем сезоне. Обобщение — вопрос переноса закономерности, а не запоминания конкретных записей.

2. От ошибки на выборке к ожидаемому риску

Обозначим распределение целевой среды через P, модель через f, а функцию потерь через L. Ожидаемый риск усредняет ошибку по всем возможным парам «объект — правильный ответ» согласно P. Мы не можем перебрать все будущие случаи, поэтому оцениваем риск по конечной выборке, стараясь сделать её независимой и репрезентативной.

3. Как читать разрыв обобщения

Если обе ошибки велики, модель может быть недостаточно выразительной, признаки могут быть слабыми, данные — шумными, а оптимизация — незавершённой. Если обе ошибки малы, это хороший сигнал только при корректном эксперименте и подходящей тестовой выборке. Число без контекста не является доказательством.

4. Выборка должна отражать будущую задачу

Для прогноза будущего по временным рядам нельзя случайно перемешивать прошлое и будущее. Обучение должно происходить на более раннем интервале, а проверка — на более позднем. Схема разбиения должна имитировать реальный сценарий использования, а не просто создавать удобные числа.

5. Утечка данных: когда тест перестаёт быть независимым

Защита: сначала разделить данные, затем обучать преобразования только на обучающей части. Удобный способ — объединить преобразования и модель в Pipeline. Отдельно проверять временные метки, дубликаты, связанные группы, источники признаков и момент их доступности. Даже невидимая утечка может сделать метрику неправдоподобно высокой.

6. Когда меняется сама среда

Поэтому обобщение не означает «модель будет работать везде и всегда». Оценка на тесте отвечает на вопрос о похожих условиях, а перенос в новую среду требует отдельной проверки. Нужны мониторинг входных данных, качества при появлении разметки, ошибок по сегментам и заранее определённые правила пересмотра модели.

7. Что тестовая оценка может и не может доказать

Тестовую выборку нельзя многократно использовать для выбора признаков, архитектуры и порогов: тогда она постепенно превращается в ещё одну validation-выборку. Для настройки используют validation или кросс-валидацию; финальный test берегут для независимой итоговой оценки. Более детальная настройка гиперпараметров будет в уроке 1.4.5, а кросс-валидация и устойчивость — в отдельном последующем блоке.

8. Практический протокол оценки

После запуска модели продолжайте проверку. Распределение данных и качество могут меняться. Система должна иметь понятный процесс обнаружения деградации, повторной разметки, переобучения и отката. Обобщающая способность — не вечное свойство модели, а качество, подтверждённое для определённых данных, времени и условий.

Пример: корректный конвейер без утечки при классификации

# Python 3.10+; требуется pandas и scikit-learn
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import balanced_accuracy_score, classification_report

# В таблице target — целевой класс; признаки доступны на момент прогноза.
df = pd.read_csv("equipment.csv")
X = df[["temperature", "vibration", "pressure"]]
y = df["target"]

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, random_state=42, stratify=y
)

# StandardScaler обучается только на X_train благодаря Pipeline.
model = make_pipeline(
    StandardScaler(),
    LogisticRegression(max_iter=1000, class_weight="balanced")
)
model.fit(X_train, y_train)

pred = model.predict(X_test)
print("Balanced accuracy:", balanced_accuracy_score(y_test, pred))
print(classification_report(y_test, pred))

# Не подбирайте модель и пороги по этому test-набору повторно.
# Для групп/времени вместо случайного split нужен другой протокол.

Словарь урока

Самопроверка

Выберите один ответ. После проверки появится объяснение.