1.3.6 — Генеративные модели и современные подходы ИИ

Результаты обучения

После изучения урока вы сможете:

• Различать генеративную и дискриминативную постановки.
• Объяснять принципы авторегрессии, VAE, GAN и диффузионных моделей.
• Понимать роль self-supervised learning и foundation models.
• Отличать генеративную модель от RAG и системы с инструментами.
• Оценивать качество, разнообразие, достоверность и риски результата.
• Проводить эксперимент с простой авторегрессионной моделью.

1. Что значит «генерировать»

2. Как модель строит последовательность

3. Четыре семейства генеративных моделей

Авторегрессионные модели

Вариационные автоэнкодеры (VAE)

Генеративно-состязательные сети (GAN)

Диффузионные модели

4. Foundation models и современные способы адаптации

5. RAG и инструменты: модель — не вся система

6. Практика Python: символьная модель биграмм

Среда: Python 3.10+, стандартная библиотека, без доступа к сети.

from collections import defaultdict, Counter
import random

corpus = [
    "вода нагревается",
    "вода циркулирует",
    "насос создаёт поток",
    "датчик измеряет температуру",
    "система поддерживает режим",
]
next_chars = defaultdict(Counter)
for text in corpus:
    padded = "^" + text + "$"
    for current, following in zip(padded, padded[1:]):
        next_chars[current][following] += 1

def generate(max_length=80):
    current, output = "^", []
    for _ in range(max_length):
        choices = next_chars.get(current)
        if not choices:
            break
        chars, weights = zip(*choices.items())
        current = random.choices(chars, weights=weights, k=1)[0]
        if current == "$":
            break
        output.append(current)
    return "".join(output)

random.seed(7)
for _ in range(5):
    print(generate())

7. Практическое задание: выбрать архитектуру

8. Качество, ограничения и риски

9. Итоги и границы следующих уроков