Зачем нужен этот урок

Поведенческий тест показывает, что языковая модель отвечает правильно, но сам по себе не раскрывает внутренние вычисления, которые привели к ответу. Mechanistic Interpretability (MI) исследует внутренние представления и вычисления нейросетей. Её задача — построить проверяемую гипотезу о механизме и проверить её вмешательствами и контрольными экспериментами.

Результаты обучения

1. Три уровня вопроса к модели

Поведенческий уровень: в каких условиях модель даёт правильный ответ? Как меняется точность при изменении формулировки?

Репрезентационный уровень: какая информация доступна в активациях? Можно ли декодировать её с помощью probe?

Механистический уровень: какие компоненты преобразуют и передают эту информацию, и какую функциональную роль они играют?

Probe может декодировать информацию, даже если модель не использует её так, как предполагает исследователь. Поведенческая успешность также не раскрывает внутренний алгоритм.

2. Что именно анализируется

ОбъектСмыслОговорка
Weights / параметрыОбученные числа, задающие преобразованияОтдельное значение веса редко имеет понятный смысл
Activations / активацииВнутренние значения при конкретном входеЗависят от входа, позиции и слоя
Neurons / нейроныКоординаты или вычислительные единицы слояНейрон не обязан соответствовать одному понятию
Features / признакиПредполагаемые направления или структуры представленияМогут распределяться по множеству нейронов
Components / компонентыAttention heads, MLP, residual streamФункциональную роль нужно проверять
Circuit / цепьГипотеза о взаимодействии компонентовМожет быть неполной и специфичной для задачи

3. Feature hypothesis, superposition и polysemanticity

Рабочая feature hypothesis предполагает, что внутренние представления можно описывать через признаки, полезные для обработки входных данных. Это не означает, что каждый признак соответствует одному нейрону или является отдельной причинной переменной.

Superposition — гипотеза о ситуации, когда сеть кодирует больше потенциально полезных признаков, чем имеется независимых координат в доступном пространстве представления. Несколько признаков могут быть закодированы в пересекающихся направлениях.

Polysemanticity — наблюдение, что одна нейронная единица может активироваться в нескольких различных контекстах. Это объясняет, почему top-activating examples одного нейрона не дают полного объяснения модели.

4. От компонента к circuit-гипотезе

Circuit — предполагаемая функциональная цепочка компонентов, совместно выполняющая операцию. Исследователь должен указать модель, слой и компонент; входные условия; предполагаемую операцию; метрику; альтернативные объяснения; условия, в которых гипотеза должна не сработать.

5. Почему корреляции недостаточно

Если активация компонента H часто высока на примерах с правильным ответом, это показывает связь, но не доказывает, что H необходим, достаточен, выполняет именно предполагаемую операцию или является единственным путём передачи информации. Возможны общая причина, избыточные пути и побочные эффекты выборки.

6. Два вида вмешательств

Ablation

Ablation — удаление, зануление или подавление выбранного компонента/активации с измерением изменения поведения. Метод показывает влияние вмешательства в заданном эксперименте, но не доказывает, что компонент — единственный механизм или необходим во всех контекстах.

Activation patching

Activation patching — перенос активации из одного запуска модели в другой. Обычно сравнивают clean input, где целевое поведение наблюдается, и corrupted input, где оно нарушено. Перенос активации может восстановить метрику, но это не доказывает, что весь circuit найден или что механизм универсален.

7. Worked example: гипотеза о переносе информации

  1. Создать контрастные последовательности, где меняется предыдущий токен, а остальной контекст контролируется.
  2. Задать baseline: вероятность ожидаемого следующего токена и контрольные последовательности без целевой зависимости.
  3. Выполнить ablation предполагаемого attention head H и измерить изменение метрики.
  4. Перенести активацию H из clean run в corrupted run и измерить восстановление.
  5. Повторить на отрицательных контрольных примерах, других позициях и, при необходимости, других heads.
  6. Сформулировать ограниченный вывод: результаты могут поддерживать функциональный вклад H в данном протоколе, но не доказывают уникальный полный механизм.

8. Сильный вывод и чрезмерное утверждение

НаблюдениеДопустимый выводНедопустимый скачок
Probe декодирует признакИнформация доступна для данного probeМодель обязательно использует её
Нейрон активируется на примерахАктивация связана с примерамиНейрон «понимает» понятие
Ablation ухудшает метрикуКомпонент влияет на поведение в экспериментеКомпонент — единственная причина
Patching восстанавливает метрикуПеренесённое состояние может восстановить часть поведенияВесь circuit полностью найден

9. Связь с XAI

XAI может объяснять вклад входных признаков в отдельное предсказание, например с помощью SHAP. MI исследует, какие внутренние вычисления реализуют поведение. Эти объяснения дополняют друг друга, но не заменяют друг друга; обоим нужны проверки faithfulness, устойчивости и границ применимости.

10. Ограничения и исследовательская добросовестность

В отчёте фиксируйте версию модели и токенизатора, данные, seeds, слой/компонент, способ вмешательства, метрику, baseline, контроли и ограничения.

11. Практическая работа

Найдите опубликованный пример circuit analysis и заполните исследовательскую карточку: гипотеза; модель и компонент; активации/признаки; вмешательства и контроли; метрика; результаты и отрицательные результаты; альтернативные объяснения; границы обобщения.

Критерии оценки: точность терминов — 20%; воспроизводимость описания — 20%; корректность причинного вывода — 25%; качество контролей — 20%; описание ограничений — 15%.

12. Самопроверка

  1. Чем поведенческий анализ отличается от механистической интерпретации?
  2. Почему feature и neuron — не синонимы?
  3. Что объясняет superposition и почему это не универсальный закон?
  4. Почему probe accuracy не доказывает, что модель использует признак?
  5. Чем ablation отличается от activation patching?
  6. Что можно заключить, если patching частично восстанавливает метрику?
  7. Зачем нужны отрицательные контрольные примеры?

Краткие выводы

  1. MI реконструирует внутренние вычисления, а не только описывает ответы.
  2. Weights, activations, neurons, features, components и circuits — разные уровни анализа.
  3. Корреляция и декодируемость сами по себе не доказывают причинную роль.
  4. Ablation и activation patching — экспериментальные инструменты, а не автоматические доказательства.
  5. Вывод привязывается к модели, данным, метрике и протоколу.

Источники

Лабораторная работа ещё не включена. Для воспроизводимых численных результатов необходимо отдельно зафиксировать версии модели, токенизатора и инструментов. До этого урок не обещает конкретных экспериментальных чисел.