Результаты обучения
После изучения урока вы сможете:
- Определять объект и единицу наблюдения в табличных данных.
- Различать признаки X, целевую переменную y и идентификаторы.
- Объяснять разницу между регрессией и классификацией через тип цели.
- Проверять, доступны ли признаки в момент реального прогноза.
1. Объект и единица наблюдения
Объект — то, о чём мы хотим получить вывод: здание, клиент, изделие, поездка или событие. Единица наблюдения — конкретная запись, на которой строится анализ. Один объект может иметь много наблюдений: например, здание измеряется каждый час.
Перед созданием таблицы сформулируйте предложение: «Одна строка описывает …». Если ответ неоднозначен, структура данных и схема оценки ещё не определены.
2. Признаки и матрица X
Признак (feature) — входная переменная, описывающая объект и доступная модели для построения прогноза. Матрицу признаков обозначают X: строки соответствуют наблюдениям, столбцы — признакам. Примеры: наружная температура, площадь здания, день недели и запланированное число людей.
Идентификатор объекта обычно нужен для связывания записей и группового разделения, но не обязательно является полезным предиктором. Например, уникальный номер здания может случайно кодировать конкретный объект и привести к запоминанию, а не к изучению переносимой закономерности.
3. Целевая переменная y
Целевая переменная (target) — величина или категория, которую модель должна предсказать. В обучающей выборке известные значения цели служат примерами правильного ответа. В обозначениях задачи X — входы, y — ответы.
Цель должна быть определена точно: что измеряется, в каких единицах, для какого горизонта и по каким правилам. «Прогноз энергопотребления» недостаточно конкретен без указания периода и объекта измерения.
4. Регрессия и классификация
Если целевая переменная — количественное значение, задача обычно относится к регрессии: прогноз кВт·ч, времени доставки или температуры. Если цель — категория, это классификация: неисправность/норма, тип обращения или класс риска.
Числа, используемые как коды категорий, не превращают задачу в регрессию. Коды 0, 1 и 2 могут обозначать три класса без осмысленного расстояния между ними.
5. Признаки должны быть доступны в момент прогноза
Для каждого признака задайте вопрос: «Будет ли это значение известно системе в тот момент, когда она должна выдать прогноз?» Для прогноза завтрашней нагрузки допустима сегодняшняя температура и заранее известный календарь, но не фактическое завтрашнее потребление.
Признак, содержащий ответ или сведения, появляющиеся после события, создаёт утечку цели. Даже если столбец сильно улучшает метрику, это не делает его допустимым входом.
6. Практикум: разметьте таблицу
Задача: прогнозировать суточное энергопотребление здания. Возможные поля: дата, идентификатор здания, наружная температура, площадь, число людей по плану, фактическое число людей, измеренное энергопотребление.
Определите объект и строку; выберите X и y; отметьте идентификатор; затем разделите признаки на доступные до начала суток и появляющиеся после. Объясните, почему фактическое потребление не может быть входом для прогноза этого же периода.