Результаты обучения
После изучения урока вы сможете:
- Объяснять, что такое данные и почему их смысл зависит от контекста сбора.
- Различать объект исследования, единицу наблюдения, наблюдение и набор данных.
- Распознавать структурированные, полуструктурированные и неструктурированные данные.
- Описывать происхождение, единицы, время, обработку, качество и ограничения данных.
- Различать смещение выборки и изменение распределения данных.
- Составлять краткий паспорт набора данных.
1. Данные — это записи о мире, а не сам мир
В машинном обучении данные — зафиксированные сведения об объектах, событиях или процессах: показания датчика, фотография, текст обращения, запись о покупке. Данные помогают изучать реальность, но не являются самой реальностью.
Представим здание. Само здание — объект. Температура в помещении, показания электросчётчика, расписание работы и фотографии оборудования — разные цифровые сведения о нём. Каждая запись описывает только отдельную сторону объекта.
Запись появляется в результате процедуры: кто-то выбирает, что измерять, устанавливает прибор, задаёт частоту, сохраняет результат и, возможно, преобразует его. Поэтому нужно спрашивать не только «какое число записано?», но и «что оно означает и как появилось?».
Данные — свидетельства об объекте, полученные определённым способом. Без контекста их смысл легко понять неправильно.
Число 125 само по себе почти ничего не говорит. Это могут быть 125 кВт·ч за сутки, 125 кВт в момент измерения, температура или номер устройства. Нужны название показателя, единица, время и метод получения.
2. Объект, единица наблюдения, наблюдение и набор данных
Перед анализом определите, что именно представляет одна запись. Различайте четыре понятия:
- Объект исследования — сущность, которую изучают: здание, двигатель, клиент.
- Единица наблюдения — элемент, для которого создаётся одна запись: здание за сутки, датчик за час, отдельная заявка.
- Наблюдение — фактически зафиксированная запись для выбранной единицы.
- Набор данных — организованная совокупность наблюдений, собранных по согласованным правилам.
Один объект может породить много наблюдений. Если датчик передаёт температуру каждый час, у одного здания будет 24 записи за сутки. Это не 24 здания, а 24 временных наблюдения одного объекта.
Если случайно распределить почасовые записи одного здания между обучающей и тестовой выборками, похожие условия могут попасть в обе части. Оценка модели станет слишком оптимистичной. В зависимости от задачи данные разделяют по зданиям, периодам времени или другим независимым группам. Подробнее — в уроке 1.2.4.
Закончите фразу: «Одна строка в моём наборе данных описывает…». Если ответ неоднозначен, структуру нужно уточнить.
3. Формы данных
Данные бывают не только таблицами. Для начала выделим три распространённые формы.
Структурированные данные
Имеют заранее заданную схему: строки, столбцы, названия полей и типы значений. Например, таблица энергопотребления: идентификатор здания, дата, потребление и наружная температура.
Полуструктурированные данные
Имеют повторяющуюся организацию, но набор полей может различаться. Пример — JSON-события датчиков: одно сообщение содержит температуру и влажность, другое — температуру и код ошибки.
Неструктурированные данные
Не имеют простой универсальной табличной схемы: свободный текст, фотографии, аудио и видео. Например, фотографии дефектов оборудования и комментарии инженеров.
| Форма | Пример | Что проверить |
|---|---|---|
| Структурированные | CSV с показаниями | Столбцы, типы, единицы, пропуски |
| Полуструктурированные | JSON датчиков | Поля, обязательные ключи, версии формата |
| Неструктурированные | Фото и текстовые журналы | Формат, качество, метаданные |
Один проект может объединять все формы. Таблица хранит код оборудования, JSON — телеметрию, фотографии — свидетельства неисправности. Для объединения нужны надёжные идентификаторы и временные отметки. Ошибка сопоставления может связать фото одного устройства с показаниями другого.
4. Источник, измерение и временной контекст
Источниками данных бывают датчики, информационные системы, эксперименты, опросы, наблюдения специалистов, открытые репозитории и ручная разметка. Источник определяет, какие объекты попадут в набор и какие случаи останутся незамеченными.
В энергоснабжении кВт·ч — единица энергии, а кВт — единица мощности. Нельзя считать их взаимозаменяемыми. Также важно знать, является ли значение накопительным показанием счётчика или расходом за интервал, например за час.
Запись «08:00» должна быть связана с датой и часовым поясом. Нужно понимать, обозначает ли время начало интервала, его конец или момент получения сообщения. При переходе на летнее/зимнее время локальный час может повторяться или отсутствовать.
Данные могут проходить обработку: преобразование единиц, удаление дублей, фильтрацию, объединение таблиц, заполнение пропусков и разметку. Эти операции нужно документировать. Не заменяйте пропуск нулём без основания: ноль может быть реальным измерением, а пропуск означает, что значение неизвестно или не получено.
«125 кВт·ч — потребление корпуса B с 00:00 до 24:00 местного времени 12 марта, рассчитанное как разность показаний счётчика». Теперь значение можно интерпретировать.
5. Качество, надёжность и ограничения
Качество нельзя оценить только количеством строк. Практический вопрос: помогает ли набор надёжно решать конкретную задачу? Один и тот же набор может подходить для одной цели и быть недостаточным для другой.
- Полнота: есть ли пропуски в важных полях, отсутствуют ли дни, сезоны или типы объектов?
- Точность: исправны ли датчики, верны ли единицы и преобразования?
- Согласованность: одинаково ли трактуются поля в разных системах?
- Уникальность: не загружены ли события несколько раз?
- Актуальность: отражают ли данные текущие процессы и оборудование?
- Качество разметки: ясны ли определения меток и часто ли допускаются ошибки?
Если в журнале нет выходных, модель может выучить только будний режим. Если датчик передаёт Фаренгейты, а система считает их Цельсиями, значения заполнены, но неверны. Дубликат события может получить лишний вес.
Пропуск, выброс или дубликат не всегда нужно автоматически удалять. Необычно высокое потребление может быть ошибкой прибора, а может указывать на реальную аварию. Сначала выясните причину, оцените влияние на задачу и задокументируйте решение.
6. Репрезентативность, смещение выборки и изменение данных
Целевая совокупность — все объекты или ситуации, на которые планируется распространить выводы или применять модель. Выборка — собранная часть этой совокупности. Она репрезентативна не потому, что велика, а потому, что отражает важные для задачи особенности целевой совокупности.
Если модель предназначена для всех зданий, но в наборе есть только современные офисы одного города, школы, больницы и старые жилые здания могут оказаться не представлены. Это пример смещения выборки (sampling bias): способ отбора систематически исключил часть целевой совокупности или недостаточно её представил.
Другая ситуация: данные изначально хорошо отражали здания, но через несколько лет установили новые системы отопления, изменили тарифы и режимы эксплуатации. Условия изменились — это пример изменения распределения данных (distribution shift), то есть различия между данными разработки/проверки и данными последующего применения.
| Ситуация | Что произошло | Понятие |
|---|---|---|
| Собрали только офисы, хотя задача охватывает все типы зданий | Часть целевой совокупности не попала в выборку | Смещение отбора / покрытия |
| После модернизации отопления изменились закономерности потребления | Условия применения изменились со временем | Изменение распределения |
Эти явления связаны, но не тождественны. Первое часто возникает при проектировании сбора, второе может появиться после развёртывания модели. Более сложный алгоритм сам по себе не исправляет недостаточный охват или изменение реального процесса.
Сравнивайте данные с будущей областью применения: какие типы объектов, периоды и сезоны представлены? Какие группы отсутствуют? Как меняются процессы со временем? Не судите о пригодности только по числу строк.
7. Паспорт набора данных
Паспорт набора данных (dataset datasheet / dataset card) — описание, помогающее понять, откуда появились данные, что они содержат, как обрабатывались и для каких задач подходят или не подходят. Это защита от использования данных вне их контекста.
Практический минимальный паспорт включает:
| Поле | Что указать | Пример |
|---|---|---|
| Назначение | Цель создания и предполагаемые задачи | Анализ суточного потребления, не автоматическое управление безопасностью |
| Состав и единица наблюдения | Объекты, записи, поля | Одна строка — здание за сутки |
| Источник и владелец | Ответственная сторона и исходные системы | Счётчики и система диспетчеризации |
| Сбор и охват | Метод, место, период, частота, отбор, исключения | Два года, три климатические зоны |
| Определения и единицы | Смысл поля, единица и временные границы | кВт·ч за календарные сутки |
| Обработка и версии | Очистка, преобразования, объединение, заполнение | Дубли удалены, пропуски отмечены отдельно |
| Качество и ограничения | Ошибки, пробелы, смещения, непредставленные группы | Мало зданий старше 50 лет |
| Приватность и доступ | Чувствительные сведения, права доступа, меры защиты | Адреса заменены кодами, доступ ограничен |
| Лицензия и использование | Разрешено ли копирование, распространение и повторное использование | Внутреннее использование по правилам владельца |
| Поддержка и разметка | Кто обновляет данные и как присваиваются метки | Ежемесячное обновление, метки подтверждает инженер |
Это учебный шаблон, а не универсальный юридический документ. Если данные содержат сведения о людях или позволяют их идентифицировать, отдельно проверьте основания сбора, согласие там, где оно требуется, ограничения доступа и сроки хранения. Удаление имени само по себе не гарантирует анонимность.
Хорошая документация отвечает на четыре вопроса: что представляет строка; как получено значение; какую совокупность охватывает набор; какие выводы делать нельзя.
8. Практикум: опишите набор и найдите слабые места
Вам передали файл с суточным энергопотреблением 40 зданий за один год. В таблице есть код здания, дата и значение потребления. Других пояснений нет.
- Сформулируйте возможную задачу: анализ сезонности или прогноз потребления на следующий день.
- Определите единицу наблюдения. Вероятно, это одно здание за одни сутки, но гипотезу нужно подтвердить.
- Заполните паспорт. Если сведения неизвестны, так и напишите — не придумывайте ответ.
- Задайте владельцу минимум три вопроса: в каких единицах измерено потребление; что означает дата и какой часовой пояс используется; какие здания и дни отсутствуют и почему?
- Назовите ограничения: один год может не охватывать редкие погодные условия; 40 зданий могут быть однотипными; неизвестная обработка затрудняет проверку значений.
Другой исследователь должен понять, что представляет строка, откуда взялись значения, какие объекты и периоды охвачены, как данные менялись и для каких выводов их недостаточно.
Не исправляйте неизвестное догадкой. Отделяйте подтверждённые сведения от предположений и вопросов.