Результаты обучения

После изучения урока вы сможете:

Проблема урокаСлово «искусственный интеллект» применяют к системам с совершенно разным устройством. Если не различать алгоритм, модель и целую AI-систему, невозможно корректно оценить её возможности и понять, что именно нужно объяснять.
ИнтуицияПредставьте три устройства, которые выдают одинаковый ответ. Одно использует заранее записанное правило, второе — базу экспертных знаний, третье — параметры, найденные на примерах. По одному ответу нельзя определить, как они пришли к результату. Нужно исследовать механизм и условия работы.
AI как семейство подходовСистема искусственного интеллекта может использовать правила, поиск и планирование, машинное обучение и глубокое обучение.Искусственный интеллект — не один алгоритмAI · интеллектуальные задачиПравилаif–then, логикаПоиск и плансостояния, действияMachine Learningзакономерности в данныхDeep Learningмногослойные сетиПодход выбирают под задачу, ограничения и доступные данные
Рисунок 1. AI объединяет несколько исследовательских и инженерных подходов. Машинное обучение — один из них, а глубокое обучение — семейство методов внутри ML.

1. Зачем начинать с определения

Словосочетание «искусственный интеллект» сегодня используют применительно к самым разным технологиям: поисковым системам, голосовым помощникам, системам распознавания изображений, рекомендательным алгоритмам, промышленной автоматике и генеративным нейросетям. Из-за этого возникает впечатление, будто все эти системы устроены одинаково. На самом деле под одним названием скрывается целое семейство методов и архитектур.

Для исследователя важно не просто распознать модное название технологии, а задать точные вопросы: какую задачу решает система? На каких входных данных? По каким правилам или на основе какой модели? Как формируется результат? В каких условиях система ошибается? Можно ли проверить её качество?

Эти вопросы станут основой всей школы. Чтобы изучать объяснимость AI, необходимо сначала понимать, что именно мы пытаемся объяснить: алгоритм, обученную модель, программный продукт или систему, которая взаимодействует с внешней средой.

2. Что означает Artificial Intelligence

Artificial Intelligence (AI) — искусственный интеллект. Область информатики и инженерии, связанная с созданием машинных систем, способных выполнять задачи, для которых обычно требуются отдельные формы интеллектуального поведения: восприятие информации, обучение, рассуждение, планирование, принятие решений, понимание или создание языка.

Artificial переводится как «искусственный», то есть созданный человеком, а не возникший естественным образом. Intelligence — «интеллект», способность эффективно решать задачи, использовать информацию, выявлять закономерности, строить планы и адаптировать поведение к условиям.

Это рабочее объяснение, а не утверждение, что машина обладает человеческим разумом. В научной литературе существуют разные определения AI: одни акцентируют рациональное действие, другие — способность решать задачи, третьи — процессы, которые обычно связывают с человеческим интеллектом.

2.1. Историческое происхождение термина

Термин Artificial Intelligence получил известность в середине 1950-х годов. Джон Маккарти (John McCarthy) использовал его при подготовке Дартмутского исследовательского проекта, летняя программа которого состоялась в 1956 году. Это событие часто рассматривают как один из символических моментов формирования AI как самостоятельного исследовательского направления.

Ранние исследователи надеялись формализовать рассуждение, решение задач и другие интеллектуальные способности так, чтобы их можно было воспроизводить на вычислительных машинах. С тех пор область прошла через несколько этапов: символические методы, экспертные системы, статистическое машинное обучение, глубокие нейронные сети и современные генеративные модели.

3. Интеллектуальное поведение — не то же самое, что сознание

Если программа успешно играет в шахматы, распознаёт речь или составляет связный текст, мы можем сказать, что она демонстрирует определённое интеллектуальное поведение. Но из этого не следует, что она переживает происходящее, обладает самосознанием или понимает ситуацию так же, как человек.

Интеллектуальное поведение в контексте AI — наблюдаемая способность системы решать задачи, выбирать действия или преобразовывать информацию с полезным результатом. Сознание — гораздо более сложное философское и научное понятие, связанное, в частности, с субъективным опытом. Успешное выполнение задачи само по себе не доказывает наличие такого опыта.

Для инженерной оценки мы обычно исследуем измеримые свойства: точность, устойчивость, скорость, безопасность, способность переносить знания на новые данные. Не следует подменять эти измерения антропоморфными формулировками — приписыванием машине человеческих намерений и переживаний без достаточных оснований.

4. Как можно определить AI-систему

В рекомендациях OECD (Organisation for Economic Co-operation and Development — Организация экономического сотрудничества и развития, ОЭСР) AI-система описывается через её машинную природу, цели, входные данные, вывод результатов и степень автономности или адаптивности после внедрения. Это полезный системный взгляд: он помогает анализировать не только модель, но и её применение.

AI-система — машинная система, которая для явно заданных или неявных целей выводит из получаемых входных данных, как сформировать прогнозы, контент, рекомендации или решения, способные влиять на физическую или виртуальную среду. Разные системы различаются по уровню автономности и адаптивности после внедрения.

4.1. Разберём компоненты определения

5. Общая схема AI-системы

Контур работы AI-системыСреда и задача формируют входные данные, система обрабатывает их механизмом или моделью, затем выдаёт результат и действие; обратная связь помогает оценить эффект.AI-система в контексте средыСредазадача, контекстВходданные, запросМеханизм /модельРезультатоценка, действиеобратная связь: результат проверяют относительно цели
Рисунок 2. Важно оценивать не только модель, но и всю систему: качество входа, обработку, интерфейс, действие и обратную связь.

Упрощённо взаимодействие AI-системы с миром можно представить так:

Как читать схему: модель не существует отдельно от задачи и среды. Входные данные проходят через механизм обработки, результат передаётся пользователю или другой системе, а действие может изменить среду и создать новые данные.

Например, система контроля качества получает изображение детали с камеры. Модель анализирует изображение и выдаёт вероятность того, что на поверхности есть дефект. Программная логика сравнивает результат с порогом и передаёт сигнал оператору или контроллеру линии.

Важно: модель — только один компонент системы. Камера, освещение, предварительная обработка изображения, программная логика, интерфейс оператора и исполнительное устройство также влияют на конечный результат. Поэтому ошибка в реальном продукте не всегда означает, что ошиблась именно нейросеть.

6. Основные подходы к созданию AI

6.1. Rule-based systems — системы, основанные на правилах

Rule — правило. В rule-based system поведение задаётся набором условий и соответствующих действий. Например: «если температура выше заданного порога, включить охлаждение». Такие системы могут быть очень полезными и надёжными в ограниченной области, если правила известны и условия хорошо контролируются.

Ограничение состоит в том, что разработчику приходится заранее описывать значительную часть ситуаций. При росте числа исключений набор правил становится сложным для поддержки. Правила сами по себе не означают, что система обучается на примерах.

6.2. Expert Systems — экспертные системы

Expert system — экспертная система, программная система, которая использует формализованные знания предметной области для решения задач, обычно требующих компетенции специалиста. Классическая архитектура включает базу знаний и механизм вывода.

Knowledge base — база знаний, содержащая факты, правила и связи. Inference engine — механизм вывода, который применяет правила к известным фактам и формирует заключение. Например, экспертная система может проверять конфигурацию оборудования по набору инженерных ограничений.

Экспертные системы исторически были важным направлением AI. Они не тождественны современным нейросетям и не обязательно используют обучение на больших наборах данных.

6.3. Search and Planning — поиск и планирование

Search — поиск решения в пространстве возможных вариантов. Planning — планирование последовательности действий для достижения цели. Программа может исследовать возможные маршруты, оценивать их стоимость и выбирать подходящий путь.

Алгоритмы поиска и планирования могут использовать эвристики — практические оценки, помогающие быстрее находить перспективные варианты. Например, поиск кратчайшего маршрута не обязательно требует нейронной сети: задача может решаться классическими алгоритмами на графах.

6.4. Machine Learning — машинное обучение

Machine Learning (ML) — машинное обучение, направление AI, в котором система настраивает параметры или структуру своего поведения на основе данных и опыта, вместо того чтобы полагаться исключительно на вручную заданные правила для каждого случая.

Например, фильтр спама может обучаться на письмах, которые люди ранее отметили как нежелательные или обычные. Алгоритм выявляет статистические закономерности и использует их для оценки новых писем.

6.5. Deep Learning — глубокое обучение

Deep Learning (DL) — глубокое обучение, направление машинного обучения, основанное на многослойных нейронных сетях. Несколько слоёв последовательно преобразуют входные данные, формируя внутренние представления, полезные для выполнения задачи.

Глубокое обучение особенно повлияло на компьютерное зрение, распознавание и генерацию речи, обработку языка и мультимодальные системы. Однако DL — не синоним всего AI: многие AI-системы не используют глубокие нейронные сети.

7. Какие задачи решают AI-системы

7.1. Recognition — распознавание

Распознавание — определение того, какие объекты, события или структуры присутствуют во входных данных. Примеры: распознавание речи, лиц (в рамках допустимых и законных применений), дорожных знаков или символов на чертеже.

7.2. Classification — классификация

Классификация — отнесение объекта к одной или нескольким заранее определённым категориям. Например, письмо может быть отнесено к классу «спам» или «не спам». Важно отличать предсказанную категорию от истинного состояния объекта: классификатор может ошибаться.

7.3. Prediction and Forecasting — предсказание и прогнозирование

Prediction — предсказание значения или класса по доступным данным. Forecasting — прогнозирование, часто применительно к будущим значениям временного ряда: спросу, нагрузке, температуре или потреблению энергии.

7.4. Anomaly Detection — обнаружение аномалий

Аномалия — наблюдение, которое заметно отличается от типичного поведения или ожидаемого распределения данных. Системы обнаружения аномалий применяются для поиска неисправностей, необычных транзакций и отклонений технологического процесса. Необычное значение не всегда является ошибкой: оно может отражать редкое, но нормальное событие.

7.5. Recommendation — рекомендация

Рекомендательные системы ранжируют товары, фильмы, статьи или другие объекты с учётом истории действий и характеристик пользователя или объекта. Их результат зависит от данных, критериев ранжирования и цели оптимизации.

7.6. Generation — генерация

Генерация — создание нового содержимого по запросу или контексту: текста, изображения, аудио, видео, программного кода или структурированных данных. Генеративная система не просто выбирает метку из фиксированного списка, а формирует последовательность или объект, соответствующий выученным закономерностям и заданным условиям.

8. Области применения

Эти области пересекаются. Например, мультимодальная модель может одновременно обрабатывать текст и изображение. А робот может объединять компьютерное зрение, планирование, управление и обученные модели.

9. Narrow AI и Artificial General Intelligence

Narrow AI (узкоспециализированный искусственный интеллект) — система, разработанная для определённого набора задач или ограниченной области применения. Даже очень мощная система может быть узкоспециализированной, если её компетенции и надёжность ограничены конкретными условиями.

Artificial General Intelligence (AGI) — общий искусственный интеллект — термин для гипотетической системы, обладающей широкими способностями к обучению и решению разнообразных интеллектуальных задач на уровне, сопоставимом с человеческими или превосходящем его. Единого общепринятого теста, который однозначно устанавливал бы достижение AGI, нет. Поэтому заявления об AGI требуют уточнения критериев и доказательств.

10. Традиционное программирование и машинное обучение

В традиционном программировании разработчик явно задаёт алгоритм и правила преобразования входа в выход. В машинном обучении разработчик задаёт процедуру обучения, модель, данные и критерий оптимизации; параметры модели подбираются на примерах.

АспектТрадиционное программированиеМашинное обучение
Что задаёт разработчикАлгоритм и правила обработкиМодель, данные, процедуру обучения и критерий качества
Откуда берётся поведениеИз написанной логикиИз структуры модели и параметров, подобранных на данных
Изменение поведенияИзменение программы или правилПереобучение, дообучение или изменение модели и данных
Типичный рискНеполные правила и ошибки реализацииСмещение данных, переобучение, сдвиг распределения, ошибки обобщения

Это сравнение упрощённое: реальные продукты часто сочетают обычный код и ML-модели. Нейросеть может быть встроена в программный конвейер, где большая часть логики остаётся явно запрограммированной.

11. Почему AI не равен человеческому мышлению

Современные AI-системы способны демонстрировать впечатляющие результаты, но оценивать их следует по конкретным задачам и условиям. Модель может уверенно формулировать ответ и при этом ошибаться; успешно решать типовые примеры и терять качество при изменении входных данных; находить статистическую связь, которая не является причинной.

Следует различать:

Ни один отдельный показатель не доказывает, что система «понимает» задачу в человеческом смысле. Для ответственного применения нужны тестирование, анализ ошибок, контроль условий эксплуатации и понимание ограничений.

12. Почему это важно для Explainable AI

Explainable Artificial Intelligence (XAI) — объяснимый искусственный интеллект — совокупность методов и подходов, направленных на то, чтобы сделать поведение AI-систем более понятным и проверяемым для людей.

В дальнейшем мы будем изучать два связанных, но разных вопроса. Первый: можно ли понять модель непосредственно благодаря её устройству? Это область интерпретируемых моделей и механистического анализа. Второй: можно ли построить объяснение уже полученного результата с помощью дополнительного метода? Такие подходы часто называют post-hoc explanations — объяснениями после получения предсказания.

Пока важно запомнить: объяснение — не автоматически доказательство причинности и не гарантия истинности. Качество объяснения тоже необходимо проверять.

Границы выводов: чего этот урок не доказывает

После знакомства с определениями важно не делать выводов шире, чем позволяют рассмотренные сведения.

Эти ограничения не обесценивают AI. Они помогают правильно ставить вопросы и не приписывать системе свойства, которые пока не были проверены.

13. Итоги урока

14. Расширенный словарь терминов

Artificial Intelligence (AI) — искусственный интеллект
Область информатики и инженерии, создающая системы для выполнения задач, связанных с интеллектуальным поведением.
Machine Learning (ML) — машинное обучение
Подход, при котором параметры или поведение системы настраиваются на основе данных и опыта.
Deep Learning (DL) — глубокое обучение
Направление ML, использующее многослойные нейронные сети.
Inference — вывод / применение модели
Вычисление результата на основе входных данных и заданного механизма или обученной модели.
Autonomy — автономность
Степень способности системы действовать без постоянного вмешательства человека.
Adaptiveness — адаптивность
Способность системы менять поведение в ответ на новые данные или условия.
Rule-based system — система, основанная на правилах
Система, поведение которой задаётся условиями и соответствующими действиями.
Expert system — экспертная система
Система, использующая формализованные знания предметной области и механизм вывода.
Search — поиск
Исследование пространства вариантов для нахождения решения.
Planning — планирование
Построение последовательности действий для достижения цели.
Recognition — распознавание
Выявление объектов, событий или структур во входных данных.
Classification — классификация
Отнесение объекта к одной или нескольким категориям.
Prediction — предсказание
Оценка неизвестного значения или класса по доступной информации.
Forecasting — прогнозирование
Оценка будущих значений, часто на основе временных рядов.
Anomaly Detection — обнаружение аномалий
Поиск наблюдений, существенно отличающихся от типичного поведения данных.
Generative AI — генеративный AI
Системы, создающие новое содержимое на основе выученных закономерностей и условий запроса.
Narrow AI — узкоспециализированный AI
Система для определённой задачи или ограниченной области применения.
Artificial General Intelligence (AGI) — общий искусственный интеллект
Гипотетическая система с широкими способностями к решению разнообразных интеллектуальных задач.
Explainable AI (XAI) — объяснимый искусственный интеллект
Методы анализа и представления объяснений поведения AI-систем.
Generalization — обобщение
Способность модели сохранять качество на новых данных.
Robustness — устойчивость
Способность сохранять работоспособность при допустимых изменениях входов и условий.

15. Практическое задание

Мини-эксперимент: три способа получить похожий результат

Представьте задачу фильтрации спама. Сравните три системы: (1) правило «если в теме письма есть слово X — отправить в спам»; (2) экспертная система с набором правил и весов, заданных специалистом; (3) классификатор, параметры которого обучены на размеченных письмах.

  1. Измените вход: письмо содержит новое слово, которого нет в правилах.
  2. Спросите, какая система сможет адаптироваться без ручного добавления нового правила.
  3. Подумайте, какие данные потребуются ML-модели для обучения и проверки.
  4. Сформулируйте, какой эксперимент позволит сравнить качество трёх систем на новых письмах.

Наблюдение: внешне одинаковый результат — например, метка «спам» — может быть получен разными механизмами. Поэтому объяснение должно учитывать устройство системы.

Рассмотрите три системы:

  1. Алгоритм поиска кратчайшего маршрута между двумя точками.
  2. Фильтр электронной почты, обученный на примерах спама и обычных писем.
  3. Нейросеть, которая генерирует текст по запросу пользователя.

Для каждой системы письменно ответьте:

Критерий выполнения: вы не просто выбираете «AI / не AI», а объясняете решение через устройство системы, используемый подход и способ проверки результата.

Самостоятельный вывод

Выберите одну AI-систему, с которой сталкиваетесь в работе или повседневной жизни. Опишите её входы, механизм обработки, выход и действие. Затем ответьте: что именно в этой системе вы хотели бы объяснить — правило, модель, отдельный прогноз или всю цепочку принятия решения? Какие данные и проверки понадобятся?

Хороший ответ не просто называет технологию. Он формулирует проверяемый вопрос и указывает, какие сведения пока неизвестны.