Результаты обучения

После изучения урока вы сможете:

1. Что означает качество данных

Качество данных — пригодность набора для конкретной задачи, а не абстрактная оценка «хорошие/плохие». Проверяют точность, полноту, согласованность, своевременность, уникальность и соответствие определениям.

Набор может быть корректным для анализа годового потребления, но непригодным для почасового прогноза, если измерения редкие. Контроль качества всегда связан с целью использования.

2. Первичные проверки

Проверьте число строк и столбцов, типы полей, единицы измерения, допустимые диапазоны, уникальность ключей, повторяющиеся строки и временные пропуски. Сравните статистики по источникам, периодам и группам объектов.

Автоматические правила полезны, но каждое правило должно иметь предметное основание. Например, отрицательная площадь здания невозможна по определению; отрицательная температура может быть совершенно нормальной.

3. Пропуски — это не нули

Пропуск означает, что значение неизвестно или не было записано. Ноль — измеренное или осмысленное значение. «Не применимо» — отдельное состояние: например, поле о лифте для здания без лифта.

Причины пропусков различаются: случайный сбой датчика, отказ респондента, недоступность показателя или систематическое отсутствие измерений при определённых условиях. Иногда сам факт отсутствия информативен.

4. Стратегии обработки пропусков

Варианты включают удаление строк или признаков, заполнение медианой/средним, отдельную категорию для категориального признака, модельную импутацию и индикатор пропуска. Выбор зависит от доли, механизма и роли переменной.

Заполнение средним просто, но уменьшает вариативность и может искажать связи. Удаление строк способно изменить состав выборки. Индикатор пропуска полезен не всегда и может закрепить особенности процесса сбора. Все параметры заполнения оцениваются только на обучающей части.

5. Выбросы: ошибка или важный сигнал?

Выброс — наблюдение, заметно отличающееся от основной массы. Он может возникнуть из-за сбоя датчика, ошибки ввода, редкого события или реального экстремального режима. Само отличие не доказывает ошибку.

Сначала проверьте единицы, оборудование, временную метку и первичный источник. Не удаляйте редкие значения только потому, что они ухудшают метрику: аварийные режимы могут быть именно теми событиями, которые модель должна распознавать.

6. Практикум: план контроля качества

Для набора энергопотребления задайте проверки: значения неотрицательны; временные метки уникальны для пары «здание–час»; единицы согласованы; нет невозможных скачков из-за смены масштаба; доля пропусков измеряется по каждому датчику.

Для каждого обнаруженного случая назначьте действие: исправить по первичному источнику, пометить как неизвестное, исключить с обоснованием или оставить как реальный экстремум. Запишите причину и влияние решения.