Результаты обучения
После изучения урока вы сможете:
- объяснить, что означает термин Artificial Intelligence и почему у него нет единственного универсального определения;
- различать интеллектуальное поведение, интеллект и сознание;
- описать общую схему работы AI-системы: среда, входные данные, модель или механизм вывода, результат и действие;
- различать основные подходы к созданию AI: правила, экспертные системы, поиск и планирование, машинное обучение и глубокое обучение;
- приводить примеры задач распознавания, классификации, прогнозирования, обнаружения аномалий, рекомендаций и генерации;
- объяснить различие между узкоспециализированным AI и гипотетическим общим искусственным интеллектом;
- назвать ограничения AI и объяснить, почему результат модели требует проверки.
1. Зачем начинать с определения
Словосочетание «искусственный интеллект» сегодня используют применительно к самым разным технологиям: поисковым системам, голосовым помощникам, системам распознавания изображений, рекомендательным алгоритмам, промышленной автоматике и генеративным нейросетям. Из-за этого возникает впечатление, будто все эти системы устроены одинаково. На самом деле под одним названием скрывается целое семейство методов и архитектур.
Для исследователя важно не просто распознать модное название технологии, а задать точные вопросы: какую задачу решает система? На каких входных данных? По каким правилам или на основе какой модели? Как формируется результат? В каких условиях система ошибается? Можно ли проверить её качество?
Эти вопросы станут основой всей школы. Чтобы изучать объяснимость AI, необходимо сначала понимать, что именно мы пытаемся объяснить: алгоритм, обученную модель, программный продукт или систему, которая взаимодействует с внешней средой.
2. Что означает Artificial Intelligence
Artificial переводится как «искусственный», то есть созданный человеком, а не возникший естественным образом. Intelligence — «интеллект», способность эффективно решать задачи, использовать информацию, выявлять закономерности, строить планы и адаптировать поведение к условиям.
Это рабочее объяснение, а не утверждение, что машина обладает человеческим разумом. В научной литературе существуют разные определения AI: одни акцентируют рациональное действие, другие — способность решать задачи, третьи — процессы, которые обычно связывают с человеческим интеллектом.
2.1. Историческое происхождение термина
Термин Artificial Intelligence получил известность в середине 1950-х годов. Джон Маккарти (John McCarthy) использовал его при подготовке Дартмутского исследовательского проекта, летняя программа которого состоялась в 1956 году. Это событие часто рассматривают как один из символических моментов формирования AI как самостоятельного исследовательского направления.
Ранние исследователи надеялись формализовать рассуждение, решение задач и другие интеллектуальные способности так, чтобы их можно было воспроизводить на вычислительных машинах. С тех пор область прошла через несколько этапов: символические методы, экспертные системы, статистическое машинное обучение, глубокие нейронные сети и современные генеративные модели.
3. Интеллектуальное поведение — не то же самое, что сознание
Если программа успешно играет в шахматы, распознаёт речь или составляет связный текст, мы можем сказать, что она демонстрирует определённое интеллектуальное поведение. Но из этого не следует, что она переживает происходящее, обладает самосознанием или понимает ситуацию так же, как человек.
Интеллектуальное поведение в контексте AI — наблюдаемая способность системы решать задачи, выбирать действия или преобразовывать информацию с полезным результатом. Сознание — гораздо более сложное философское и научное понятие, связанное, в частности, с субъективным опытом. Успешное выполнение задачи само по себе не доказывает наличие такого опыта.
Для инженерной оценки мы обычно исследуем измеримые свойства: точность, устойчивость, скорость, безопасность, способность переносить знания на новые данные. Не следует подменять эти измерения антропоморфными формулировками — приписыванием машине человеческих намерений и переживаний без достаточных оснований.
4. Как можно определить AI-систему
В рекомендациях OECD (Organisation for Economic Co-operation and Development — Организация экономического сотрудничества и развития, ОЭСР) AI-система описывается через её машинную природу, цели, входные данные, вывод результатов и степень автономности или адаптивности после внедрения. Это полезный системный взгляд: он помогает анализировать не только модель, но и её применение.
4.1. Разберём компоненты определения
- Machine-based system — система, основанная на машине. Вычисления выполняются технической системой: программой, сервером, встроенным устройством или распределённой инфраструктурой.
- Objectives — цели. Система предназначена для достижения некоторого результата. Цель может быть задана разработчиком явно или следовать из конструкции системы и условий её использования.
- Input — входные данные. Изображение, текст, звук, измерения датчиков, таблица признаков, запрос пользователя или состояние среды.
- Inference — вывод. Процесс, в котором система преобразует входные данные в прогноз, классификацию, рекомендацию, контент или решение. В контексте обученной модели inference обычно называют применением модели, а не её обучением.
- Output — выход. Результат вычисления: метка класса, численный прогноз, текст, сигнал управления или рекомендация.
- Autonomy — автономность. Степень, в которой система способна действовать без постоянного вмешательства человека.
- Adaptiveness — адаптивность. Способность менять поведение после внедрения, например вследствие обновления модели или адаптации к новым данным. Не каждая AI-система обучается непрерывно.
5. Общая схема AI-системы
Упрощённо взаимодействие AI-системы с миром можно представить так:
Как читать схему: модель не существует отдельно от задачи и среды. Входные данные проходят через механизм обработки, результат передаётся пользователю или другой системе, а действие может изменить среду и создать новые данные.
Например, система контроля качества получает изображение детали с камеры. Модель анализирует изображение и выдаёт вероятность того, что на поверхности есть дефект. Программная логика сравнивает результат с порогом и передаёт сигнал оператору или контроллеру линии.
Важно: модель — только один компонент системы. Камера, освещение, предварительная обработка изображения, программная логика, интерфейс оператора и исполнительное устройство также влияют на конечный результат. Поэтому ошибка в реальном продукте не всегда означает, что ошиблась именно нейросеть.
6. Основные подходы к созданию AI
6.1. Rule-based systems — системы, основанные на правилах
Rule — правило. В rule-based system поведение задаётся набором условий и соответствующих действий. Например: «если температура выше заданного порога, включить охлаждение». Такие системы могут быть очень полезными и надёжными в ограниченной области, если правила известны и условия хорошо контролируются.
Ограничение состоит в том, что разработчику приходится заранее описывать значительную часть ситуаций. При росте числа исключений набор правил становится сложным для поддержки. Правила сами по себе не означают, что система обучается на примерах.
6.2. Expert Systems — экспертные системы
Expert system — экспертная система, программная система, которая использует формализованные знания предметной области для решения задач, обычно требующих компетенции специалиста. Классическая архитектура включает базу знаний и механизм вывода.
Knowledge base — база знаний, содержащая факты, правила и связи. Inference engine — механизм вывода, который применяет правила к известным фактам и формирует заключение. Например, экспертная система может проверять конфигурацию оборудования по набору инженерных ограничений.
Экспертные системы исторически были важным направлением AI. Они не тождественны современным нейросетям и не обязательно используют обучение на больших наборах данных.
6.3. Search and Planning — поиск и планирование
Search — поиск решения в пространстве возможных вариантов. Planning — планирование последовательности действий для достижения цели. Программа может исследовать возможные маршруты, оценивать их стоимость и выбирать подходящий путь.
Алгоритмы поиска и планирования могут использовать эвристики — практические оценки, помогающие быстрее находить перспективные варианты. Например, поиск кратчайшего маршрута не обязательно требует нейронной сети: задача может решаться классическими алгоритмами на графах.
6.4. Machine Learning — машинное обучение
Machine Learning (ML) — машинное обучение, направление AI, в котором система настраивает параметры или структуру своего поведения на основе данных и опыта, вместо того чтобы полагаться исключительно на вручную заданные правила для каждого случая.
Например, фильтр спама может обучаться на письмах, которые люди ранее отметили как нежелательные или обычные. Алгоритм выявляет статистические закономерности и использует их для оценки новых писем.
6.5. Deep Learning — глубокое обучение
Deep Learning (DL) — глубокое обучение, направление машинного обучения, основанное на многослойных нейронных сетях. Несколько слоёв последовательно преобразуют входные данные, формируя внутренние представления, полезные для выполнения задачи.
Глубокое обучение особенно повлияло на компьютерное зрение, распознавание и генерацию речи, обработку языка и мультимодальные системы. Однако DL — не синоним всего AI: многие AI-системы не используют глубокие нейронные сети.
7. Какие задачи решают AI-системы
7.1. Recognition — распознавание
Распознавание — определение того, какие объекты, события или структуры присутствуют во входных данных. Примеры: распознавание речи, лиц (в рамках допустимых и законных применений), дорожных знаков или символов на чертеже.
7.2. Classification — классификация
Классификация — отнесение объекта к одной или нескольким заранее определённым категориям. Например, письмо может быть отнесено к классу «спам» или «не спам». Важно отличать предсказанную категорию от истинного состояния объекта: классификатор может ошибаться.
7.3. Prediction and Forecasting — предсказание и прогнозирование
Prediction — предсказание значения или класса по доступным данным. Forecasting — прогнозирование, часто применительно к будущим значениям временного ряда: спросу, нагрузке, температуре или потреблению энергии.
7.4. Anomaly Detection — обнаружение аномалий
Аномалия — наблюдение, которое заметно отличается от типичного поведения или ожидаемого распределения данных. Системы обнаружения аномалий применяются для поиска неисправностей, необычных транзакций и отклонений технологического процесса. Необычное значение не всегда является ошибкой: оно может отражать редкое, но нормальное событие.
7.5. Recommendation — рекомендация
Рекомендательные системы ранжируют товары, фильмы, статьи или другие объекты с учётом истории действий и характеристик пользователя или объекта. Их результат зависит от данных, критериев ранжирования и цели оптимизации.
7.6. Generation — генерация
Генерация — создание нового содержимого по запросу или контексту: текста, изображения, аудио, видео, программного кода или структурированных данных. Генеративная система не просто выбирает метку из фиксированного списка, а формирует последовательность или объект, соответствующий выученным закономерностям и заданным условиям.
8. Области применения
- Computer Vision (CV) — компьютерное зрение: анализ изображений и видео, обнаружение объектов, сегментация, контроль качества.
- Natural Language Processing (NLP) — обработка естественного языка: анализ, классификация, перевод, поиск информации и работа с текстом.
- Speech Processing — обработка речи: распознавание речи, синтез голоса и анализ аудиосигналов.
- Robotics — робототехника: восприятие среды, планирование движений и управление роботами.
- Generative AI — генеративный искусственный интеллект: создание текста, изображений, аудио, видео и других форм содержимого.
Эти области пересекаются. Например, мультимодальная модель может одновременно обрабатывать текст и изображение. А робот может объединять компьютерное зрение, планирование, управление и обученные модели.
9. Narrow AI и Artificial General Intelligence
Narrow AI (узкоспециализированный искусственный интеллект) — система, разработанная для определённого набора задач или ограниченной области применения. Даже очень мощная система может быть узкоспециализированной, если её компетенции и надёжность ограничены конкретными условиями.
Artificial General Intelligence (AGI) — общий искусственный интеллект — термин для гипотетической системы, обладающей широкими способностями к обучению и решению разнообразных интеллектуальных задач на уровне, сопоставимом с человеческими или превосходящем его. Единого общепринятого теста, который однозначно устанавливал бы достижение AGI, нет. Поэтому заявления об AGI требуют уточнения критериев и доказательств.
10. Традиционное программирование и машинное обучение
В традиционном программировании разработчик явно задаёт алгоритм и правила преобразования входа в выход. В машинном обучении разработчик задаёт процедуру обучения, модель, данные и критерий оптимизации; параметры модели подбираются на примерах.
| Аспект | Традиционное программирование | Машинное обучение |
|---|---|---|
| Что задаёт разработчик | Алгоритм и правила обработки | Модель, данные, процедуру обучения и критерий качества |
| Откуда берётся поведение | Из написанной логики | Из структуры модели и параметров, подобранных на данных |
| Изменение поведения | Изменение программы или правил | Переобучение, дообучение или изменение модели и данных |
| Типичный риск | Неполные правила и ошибки реализации | Смещение данных, переобучение, сдвиг распределения, ошибки обобщения |
Это сравнение упрощённое: реальные продукты часто сочетают обычный код и ML-модели. Нейросеть может быть встроена в программный конвейер, где большая часть логики остаётся явно запрограммированной.
11. Почему AI не равен человеческому мышлению
Современные AI-системы способны демонстрировать впечатляющие результаты, но оценивать их следует по конкретным задачам и условиям. Модель может уверенно формулировать ответ и при этом ошибаться; успешно решать типовые примеры и терять качество при изменении входных данных; находить статистическую связь, которая не является причинной.
Следует различать:
- Performance — качество выполнения: насколько хорошо система решает измеряемую задачу.
- Generalization — обобщение: насколько хорошо система работает на новых данных, не использованных при настройке.
- Robustness — устойчивость: насколько мало меняется качество при допустимых изменениях условий и входа.
- Reliability — надёжность: насколько стабильно система выполняет требуемую функцию в заданных условиях.
- Interpretability — интерпретируемость: насколько человек может понять внутреннюю логику или структуру модели.
- Explainability — объяснимость: насколько можно предоставить человеку осмысленное объяснение поведения системы или отдельного результата.
Ни один отдельный показатель не доказывает, что система «понимает» задачу в человеческом смысле. Для ответственного применения нужны тестирование, анализ ошибок, контроль условий эксплуатации и понимание ограничений.
12. Почему это важно для Explainable AI
Explainable Artificial Intelligence (XAI) — объяснимый искусственный интеллект — совокупность методов и подходов, направленных на то, чтобы сделать поведение AI-систем более понятным и проверяемым для людей.
В дальнейшем мы будем изучать два связанных, но разных вопроса. Первый: можно ли понять модель непосредственно благодаря её устройству? Это область интерпретируемых моделей и механистического анализа. Второй: можно ли построить объяснение уже полученного результата с помощью дополнительного метода? Такие подходы часто называют post-hoc explanations — объяснениями после получения предсказания.
Пока важно запомнить: объяснение — не автоматически доказательство причинности и не гарантия истинности. Качество объяснения тоже необходимо проверять.
Границы выводов: чего этот урок не доказывает
После знакомства с определениями важно не делать выводов шире, чем позволяют рассмотренные сведения.
- Название AI само по себе не раскрывает устройство системы: необходимо исследовать её механизм, данные и контекст применения.
- Наличие ML не означает, что система использует глубокую нейронную сеть; deep learning — только одно из направлений машинного обучения.
- Успешное выполнение задачи не доказывает наличие сознания, субъективного опыта или человеческого понимания.
- Общее определение AI-системы помогает описать класс систем, но не заменяет техническую документацию и оценку конкретной реализации.
- Качество AI нельзя установить по одному примеру или убедительному ответу: необходимы подходящие тесты, данные и критерии оценки.
Эти ограничения не обесценивают AI. Они помогают правильно ставить вопросы и не приписывать системе свойства, которые пока не были проверены.
13. Итоги урока
- AI — широкая область, а не название одной конкретной технологии.
- AI-система может использовать правила, поиск, экспертные знания, машинное обучение или комбинацию подходов.
- ML — один из подходов внутри AI; DL — направление ML, основанное на многослойных нейронных сетях.
- AI-систему следует рассматривать целиком: входы, модель или алгоритм, программная логика, выходы и взаимодействие со средой.
- Успешное решение задачи не доказывает наличие сознания или человеческого понимания.
- Результаты AI нужно оценивать по качеству, обобщению, устойчивости, надёжности и ограничениям.
- XAI изучает способы сделать поведение систем более понятным, но сами объяснения также нуждаются в проверке.
14. Расширенный словарь терминов
- Artificial Intelligence (AI) — искусственный интеллект
- Область информатики и инженерии, создающая системы для выполнения задач, связанных с интеллектуальным поведением.
- Machine Learning (ML) — машинное обучение
- Подход, при котором параметры или поведение системы настраиваются на основе данных и опыта.
- Deep Learning (DL) — глубокое обучение
- Направление ML, использующее многослойные нейронные сети.
- Inference — вывод / применение модели
- Вычисление результата на основе входных данных и заданного механизма или обученной модели.
- Autonomy — автономность
- Степень способности системы действовать без постоянного вмешательства человека.
- Adaptiveness — адаптивность
- Способность системы менять поведение в ответ на новые данные или условия.
- Rule-based system — система, основанная на правилах
- Система, поведение которой задаётся условиями и соответствующими действиями.
- Expert system — экспертная система
- Система, использующая формализованные знания предметной области и механизм вывода.
- Search — поиск
- Исследование пространства вариантов для нахождения решения.
- Planning — планирование
- Построение последовательности действий для достижения цели.
- Recognition — распознавание
- Выявление объектов, событий или структур во входных данных.
- Classification — классификация
- Отнесение объекта к одной или нескольким категориям.
- Prediction — предсказание
- Оценка неизвестного значения или класса по доступной информации.
- Forecasting — прогнозирование
- Оценка будущих значений, часто на основе временных рядов.
- Anomaly Detection — обнаружение аномалий
- Поиск наблюдений, существенно отличающихся от типичного поведения данных.
- Generative AI — генеративный AI
- Системы, создающие новое содержимое на основе выученных закономерностей и условий запроса.
- Narrow AI — узкоспециализированный AI
- Система для определённой задачи или ограниченной области применения.
- Artificial General Intelligence (AGI) — общий искусственный интеллект
- Гипотетическая система с широкими способностями к решению разнообразных интеллектуальных задач.
- Explainable AI (XAI) — объяснимый искусственный интеллект
- Методы анализа и представления объяснений поведения AI-систем.
- Generalization — обобщение
- Способность модели сохранять качество на новых данных.
- Robustness — устойчивость
- Способность сохранять работоспособность при допустимых изменениях входов и условий.
15. Практическое задание
Мини-эксперимент: три способа получить похожий результат
Представьте задачу фильтрации спама. Сравните три системы: (1) правило «если в теме письма есть слово X — отправить в спам»; (2) экспертная система с набором правил и весов, заданных специалистом; (3) классификатор, параметры которого обучены на размеченных письмах.
- Измените вход: письмо содержит новое слово, которого нет в правилах.
- Спросите, какая система сможет адаптироваться без ручного добавления нового правила.
- Подумайте, какие данные потребуются ML-модели для обучения и проверки.
- Сформулируйте, какой эксперимент позволит сравнить качество трёх систем на новых письмах.
Наблюдение: внешне одинаковый результат — например, метка «спам» — может быть получен разными механизмами. Поэтому объяснение должно учитывать устройство системы.
Рассмотрите три системы:
- Алгоритм поиска кратчайшего маршрута между двумя точками.
- Фильтр электронной почты, обученный на примерах спама и обычных писем.
- Нейросеть, которая генерирует текст по запросу пользователя.
Для каждой системы письменно ответьте:
- Какую задачу она решает?
- Какие данные получает на вход?
- Относится ли она к AI в широком смысле?
- Использует ли она машинное обучение? Обоснуйте ответ.
- Использует ли она глубокое обучение?
- Каким экспериментом или метрикой можно оценить качество?
- Какие ошибки или ограничения возможны?
Критерий выполнения: вы не просто выбираете «AI / не AI», а объясняете решение через устройство системы, используемый подход и способ проверки результата.
Выберите одну AI-систему, с которой сталкиваетесь в работе или повседневной жизни. Опишите её входы, механизм обработки, выход и действие. Затем ответьте: что именно в этой системе вы хотели бы объяснить — правило, модель, отдельный прогноз или всю цепочку принятия решения? Какие данные и проверки понадобятся?
Хороший ответ не просто называет технологию. Он формулирует проверяемый вопрос и указывает, какие сведения пока неизвестны.