1.4.2 — Обучение модели и функция потерь

1. От готовой модели к обучению

В 1.4.1 модель была задана формулой ŷ = f(x; θ). Здесь θ — параметры, x — признаки, ŷ — прогноз. Пока θ фиксированы, модель просто применяет правило к новым объектам. Обучение отвечает на другой вопрос: как выбрать θ, чтобы прогнозы на известных обучающих примерах были согласованы с целевыми ответами y?

Представьте модель оценки времени ремонта. Для каждого завершённого заказа известны признаки — тип оборудования, возраст, число отказов — и фактическое время ремонта. Модель выдаёт прогноз. Если прогноз систематически отличается от факта, параметры можно изменить. Но «изменить так, чтобы стало лучше» нужно формализовать: что считать ошибкой и как сравнивать варианты параметров?

2. Ошибка и функция потерь

Для одного объекта можно сравнить прогноз ŷᵢ с известным целевым значением yᵢ. Разность показывает направление ошибки, но при суммировании положительные и отрицательные отклонения могут взаимно компенсироваться. Поэтому часто используют не саму разность, а её модуль или квадрат.

Функция потерь (loss function) задаёт правило, по которому численно оценивается несоответствие прогноза целевому ответу. Она превращает качество одного прогноза в число. Значение потерь зависит от задачи и выбранной функции: одна и та же ошибка может иметь разную цену при разных постановках.

Для регрессии часто используют квадрат ошибки. Квадрат делает вклад неотрицательным и сильнее штрафует большие отклонения. Например, ошибка 4 даёт квадрат 16, а ошибка 1 — квадрат 1. Это полезно, когда крупные промахи особенно нежелательны, но одновременно делает метод чувствительным к выбросам.

3. От одной ошибки к цели обучения

Обучающий набор содержит n примеров. Для каждого примера функция потерь вычисляет ℓᵢ. Средняя эмпирическая потеря — среднее этих значений. Обучение часто формулируют как поиск параметров, при которых эта средняя величина минимальна.

Важно: мы минимизируем выбранную математическую цель на обучающих данных, а не доказываем, что модель будет безошибочна в реальном мире. Результат зависит от того, насколько обучающие данные отражают будущие ситуации, какие признаки доступны и соответствует ли функция потерь реальным последствиям ошибок.

Не путайте loss с метрикой итоговой оценки. Loss — критерий, который используется в процессе обучения для изменения параметров. Метрики оценки модели и протокол проверки качества будут подробно рассмотрены в теме 1.5. Низкая обучающая потеря сама по себе не гарантирует хорошую работу на новых данных.

4. Как параметры находят минимум: градиентный спуск

Если параметры можно немного изменить и вычислить, как меняется потеря, можно двигаться в направлении её уменьшения. Производная показывает локальную скорость изменения функции по параметру. Градиент объединяет такие производные для всех параметров и указывает направление наиболее быстрого локального роста. Поэтому для уменьшения цели делают шаг в противоположную сторону.

На каждом шаге алгоритм вычисляет градиент текущей функции потерь и обновляет параметры. Размер шага задаёт learning rate (скорость обучения). Слишком большой шаг может перескакивать через минимум или расходиться; слишком маленький — замедляет обучение. Подробная настройка learning rate, batch size и других гиперпараметров относится к уроку 1.4.5.

Для линейной регрессии с MSE задача выпуклая: при стандартной постановке нет нескольких локальных минимумов, и градиентные методы могут найти глобальный минимум при подходящих условиях. Для сложных нейросетей поверхность потерь обычно невыпуклая, поэтому поведение оптимизации сложнее.

5. Сквозной пример: линейная модель

Пусть модель прогнозирует потребление энергии по времени работы оборудования: ŷ = wx + b. У нас есть четыре учебных наблюдения. Начнём с w = 0 и b = 0. Модель сначала выдаёт одинаковый прогноз 0. Рассчитаем MSE, затем градиенты по w и b и обновим параметры.

Градиент по w показывает, как средняя квадратичная ошибка меняется при изменении наклона линии; градиент по b — как она меняется при сдвиге линии. После обновления параметры становятся другими, а прогнозы и loss пересчитываются. Повторяя шаги, мы постепенно подбираем линию, лучше согласованную с обучающими точками.

В коде ниже реализован простой batch gradient descent без сторонних библиотек. На каждой итерации используются все четыре наблюдения. Это учебная реализация для понимания механизма, а не замена библиотеке промышленного уровня.

x_values = [1.0, 2.0, 3.0, 4.0]
y_values = [3.0, 5.0, 7.0, 9.0]

w = 0.0
b = 0.0
learning_rate = 0.01
epochs = 2000
n = len(x_values)

for epoch in range(epochs):
    predictions = [w * x + b for x in x_values]
    errors = [pred - target for pred, target in zip(predictions, y_values)]
    mse = sum(error ** 2 for error in errors) / n

    grad_w = (2 / n) * sum(error * x for error, x in zip(errors, x_values))
    grad_b = (2 / n) * sum(errors)

    w -= learning_rate * grad_w
    b -= learning_rate * grad_b

print(f"w = {w:.3f}, b = {b:.3f}")
print(f"MSE = {mse:.6f}")
print("predictions =", [round(w * x + b, 2) for x in x_values])

Ожидаемый результат: w будет близок к 2, b — близок к 1, а MSE — близка к нулю. Небольшое отличие связано с конечным числом итераций.

Разбор: сначала вычисляются прогнозы; затем errors = prediction − target; далее MSE и производные по w и b; последними обновляются параметры. Важно, что градиент вычисляется до обновления, а loss в следующей итерации отражает уже новые параметры.

6. Другие функции потерь и ограничения

MSE не универсальна. MAE использует абсолютное отклонение и меньше реагирует на отдельные крупные ошибки, но имеет излом в нуле. Huber loss сочетает квадратичную область для малых ошибок и линейную для больших. В классификации часто применяют cross-entropy, сравнивающую предсказанное распределение вероятностей с истинной меткой.

Выбор loss — содержательное решение, а не косметическая настройка. Если ошибка в 10 единиц вдвое опаснее ошибки в 5, квадратичный штраф может быть оправдан. Если редкие выбросы возникают из-за ошибок измерения, MSE может чрезмерно подстроиться под них. Если важны разные последствия недооценки и переоценки, симметричная функция потерь может быть неподходящей.

Оптимизация также имеет ограничения: чувствительность к масштабу признаков, выбору начальных параметров, шуму и пропускам; возможное переобучение при чрезмерной подгонке к обучающим данным; зависимость от алгоритма и гиперпараметров. Переобучение и недообучение разберём в 1.4.3, обобщение — в 1.4.4, настройку — в 1.4.5.

7. Что важно унести из урока

Обучение связывает данные, модель, функцию потерь и оптимизатор. Данные дают примеры; модель формирует прогноз; loss оценивает несоответствие; оптимизатор изменяет параметры. Эти роли различны, и понимание каждой из них необходимо для анализа поведения модели.

Минимум loss на обучающем наборе — это цель выбранной процедуры, а не гарантия справедливости, причинной корректности, устойчивости или хорошего качества на новых данных. Всегда спрашивайте: на каких данных обучали, что именно штрафует loss, какие ошибки остаются невидимыми и как проверяли результат.