Σ Сигма

Учебник по продвинутым сюжетам ИИ

Σ

Сигма

Интерактивный учебник по математике современного ИИ. Каждая страница — история, формула и работающий код прямо в браузере.

Собственные лица
▶ Поиграть
Eigenfaces и сжатие
Лицо как сумма «собственных лиц». Двигайте число компонент — смотрите, как оно собирается.
 Спектрограмма звука
▶ Поиграть
Спектр звука и Shazam
ДПФ как умножение на матрицу: разложите два тона и постройте спектрограмму.
 Кривая резонанса
▶ Поиграть
Резонанс и мост Такома
Собственные частоты от PageRank до рухнувшего моста. Поймайте резонанс сами.
 Разделение сигналов
▶ Поиграть
Коктейльная вечеринка
Три микрофона, три голоса. ICA разбирает смесь на независимые источники.
 Рой частиц
▶ Поиграть
Муравьи, рой и отжиг
Метаэвристики против коммивояжёра — и та же «температура», что в LLM.
 Кривая двойного спуска
▶ Поиграть
Двойной спуск
Почему сети с триллионом параметров не переобучаются. Крутите степень полинома.

О чём книга

Пять частей, один сквозной рассказ. Каждая страница — история, формула и работающий код. Раскройте часть, чтобы увидеть её страницы.

раскрыть всё свернуть всё

Часть I. Введение в ИИ
Что такое искусственный интеллект
Откуда взялась идея «думающей машины»: от Тьюринга и Дартмутского семинара до нынешних больших моделей. Зачем для понимания ИИ нужна именно математика — оптимизация, линейная алгебра, вероятность — и что мы пройдём дальше по книге.
Часть II. Оптимизация
Ландшафт функции потерь сюжет
Веса сети — точка в $\mathbb{R}^d$, $d$ до миллиардов. Проецируем потери на случайную плоскость и видим «карту высот»: ResNet без skip-connections хаотичен, с ними — гладкая долина. Парадоксы размерности: почти все критические точки — сёдла, объём шара уходит в корку, расстояния концентрируются. Виджет: крутите проекцию.
Метод Ньютона
Метод касательных: вместо линейной аппроксимации — квадратичная, минимум параболы и есть следующий шаг. Сходимость квадратичная — число точных знаков удваивается за итерацию. Школьник проверяет руками: $f(x)=x^2-2$, корень $\sqrt 2$ за 4 шага. Отсюда — Ньютон-Канторович, корни уравнений и квазиньютоновские методы.
Глобальная оптимизация: муравьи, рой, отжиг сюжет
Когда градиента нет или ям много: имитация отжига с формулой Метрополиса $\exp(-\Delta E/T)$, роевой интеллект (PSO), муравьиные феромоны, генетика против коммивояжёра. Та же «температура» $T$ всплывает в softmax больших моделей: $T\to0$ — жадный argmax, $T>1$ — креатив. Виджет: ловите глобальный минимум.
Многомерное шкалирование и проклятие размерности сюжет
Дана таблица расстояний — восстановите координаты, минимизируя стресс. На этой задаче видно превосходство методов первого порядка: точный градиент сходится за секунды, а безградиентные платят фактор размерности $d$ и при $d=50$ не сходятся. Почему сети с $10^{11}$ параметров учат градиентом, а не перебором.
Феномен двойного спуска сюжет
Классика обещает U-образную ошибку (bias-variance). Белкин, 2019: за порогом интерполяции $p=n$ ошибка снова падает — двойной спуск. При $p\gg n$ выбирается решение минимальной нормы, неявная регуляризация даёт гладкость и хорошее обобщение. Почему модели с триллионом параметров не переобучаются. Виджет: степень полинома от 1 до 80.
Часть III. Линейная алгебра и данные
Вычислительная линейная алгебра
Когда арифметика лжёт (числа с плавающей точкой), SVD как главный фокус, теорема Эккарта–Янга о лучшем малоранговом приближении, eigencats и оценки липшицевости сети. Базовая глава Части III; eigenfaces и PageRank вынесены в отдельные сюжеты ниже.
PCA и Eigenfaces сюжет
Фотография лица — вектор из тысяч пикселей, но лица живут на тонком многообразии. PCA = собственное разложение ковариации; 50–80 «собственных лиц» покрывают 95% вариации. Лицо как короткий список коэффициентов. Виджет: двигайте число компонент, смотрите, как лицо собирается.
Собственные значения: PageRank и шатающиеся мосты сюжет
Одно уравнение $Av=\lambda v$ объясняет ранжирование Google и крах моста Такома. PageRank: стационарное распределение случайного сёрфера = собственный вектор при $\lambda=1$ (Перрон–Фробениус), степенной метод. Мост: собственные частоты, резонанс. Виджет: поймайте резонанс сами.
ICA и задача коктейльной вечеринки сюжет
Три микрофона, три голоса, каждый слышит смесь $x=As$. Найти $W\approx A^{-1}$ и восстановить голоса. PCA делает компоненты некоррелированными, ICA — независимыми: ищем максимально негауссовы направления (FastICA). Очистка ЭЭГ, fMRI, рыночные факторы. Виджет: разберите смесь.
Word2Vec: слова как векторы сюжет
Каждое слово — вектор; слова с похожим контекстом оказываются рядом. Семантика становится геометрией: король − мужчина + женщина ≈ королева. Дистрибутивная гипотеза, skip-gram, мост к BERT и GPT. Виджет: арифметика смыслов в браузере.
БПФ как умножение на матрицу: спектр звука и Shazam сюжет
ДПФ — умножение на унитарную матрицу из корней единицы; БПФ факторизует её в $\log_2 n$ разреженных «бабочек». Shazam строит спектрограмму, хеширует пики в отпечаток и ищет по миллионам треков за миллисекунды. Та же математика в JPEG, MP3, Wi-Fi, MRI. Виджет: разложите два тона.
Часть IV. Анализ данных и ИИ
Простейшие задачи и принцип максимума правдоподобия
Опрос на втором туре выборов, асимптотика Фишера и Ле Кама, доверительные интервалы через Чебышёва и ЦПТ, оценка площади методом Монте-Карло, теорема Гаусса о том, почему симметричный шум обязан быть нормальным.
Линейная регрессия и метод наименьших квадратов
МНК как ОМП при гауссовом шуме, решение через принцип Ферма, два исторических примера: III закон Кеплера по данным Тихо Браге и ускорение свободного падения по данным Галилея. Множественная регрессия кратким обзором.
Задача классификации и нейронные сети
MNIST и UCI Digits, чем классификация отличается от регрессии, полносвязная сеть и кривые потерь, переобучение и U-образная кривая, теоремы об универсальной аппроксимации, свёрточные сети, градиентный спуск и обратное распространение ошибки.
Задачи обучения без учителя
Задача Netflix и восстановление матрицы малого ранга, автокодировщики и их связь с PCA, эмбеддинги в современных моделях, сиамские сети и контрастивное обучение, SVD как общий язык.
Как ИИ меняет мир
AlphaGo, революция трансформеров и ChatGPT, законы скейлинга в формулах, AlphaFold и Нобель-2024, рассуждения и вывод во время инференса, воплощённый ИИ, исчерпание данных, прогнозы о сингулярности и меняющийся ландшафт профессий.
Часть V. Дискретная математика и криптография
Элементы теории чисел
Делимость и сравнения по модулю, алгоритм Евклида (обычный и расширенный), линейные сравнения, быстрое возведение в степень, функция Эйлера и малая теорема Ферма, проверка простоты и задача факторизации — фундамент для RSA.
Шифрование: от тайнописи к математической задаче
Зачем людям шифры, симметричная схема и её предел, революция открытого ключа 1976 года, односторонние функции и функции с секретом, где криптография работает прямо сейчас.
Криптосистемы RSA и Диффи–Хеллмана
RSA: замок $N=pq$ кричишь в эфир, ключом владеешь только ты. Корректность и безопасность шифра, протокол Диффи–Хеллмана для обмена ключами, атака «человек посередине» и как от неё защищаются.
Применения RSA: подпись и голосование
Аутентификация «докажи, что это ты», электронная цифровая подпись, схема электронного голосования — как одна и та же арифметика RSA даёт целый спектр протоколов доверия.
Хеширование: теория чисел встречается с рандомизацией
Быстрый поиск и беда детерминированного хеширования, универсальное семейство хеш-функций и его конструкция через теорию чисел, маленькая хеш-таблица на пальцах, применения.
Счётчики с короткой памятью: HyperLogLog
Как посчитать число различных элементов почти без памяти: идея «самого длинного хвоста нулей», набор счётчиков, и неожиданный мост к эксперименту Стэнли Милгрэма о шести рукопожатиях.

Учебник для тех, кто хочет глубже понять математические основы современного искусственного интеллекта: оптимизацию, линейную алгебру, анализ данных, криптографию.

Как устроена книга

Источник — TeX-проект в Overleaf. По расписанию забираем ZIP, прогоняем сборочный конвейер и публикуем три формата: PDF всей книги, HTML с живой математикой, и отдельный PDF каждой главы. Поверх HTML — ИИ-ассистент, который знает оглавление и текст глав.

%%{init: {"flowchart": {"htmlLabels": true, "curve": "basis", "nodeSpacing": 30, "rankSpacing": 55, "padding": 12}, "themeVariables": {"fontSize": "15px", "fontFamily": "et-book, Palatino, Georgia, serif"}}}%%
flowchart TB
  OL["📘 <b>Overleaf MIPT</b> · главы .tex + рисунки<br/><i>источник истины</i>"]
  REPO["📦 <b>git-репозиторий</b> · <code>overleaf_export/</code>"]
  BUILD["⚙️ <b>scripts/build.sh</b><br/>latexmk · tex_to_qmd · split · augment · quarto"]
  NGINX["🌐 <b>nginx</b> · sigma.fmin.xyz"]

  R1["📕 <b>PDF</b><br/>всей книги"]
  R2["📄 <b>HTML</b><br/>+ KaTeX"]
  R3["📄 <b>PDF</b><br/>главы"]
  R4["🤖 <b>ИИ-ассистент</b><br/>чат + Pyodide"]

  OL -.->|"sync.sh — ZIP по cron"| REPO
  REPO --> BUILD
  BUILD --> NGINX
  NGINX --> R1
  NGINX --> R2
  NGINX --> R3
  NGINX --> R4

  classDef src fill:#fff3e0,stroke:#e65100,stroke-width:2px,color:#3e2723;
  classDef build fill:#e3f2fd,stroke:#1565c0,stroke-width:2px,color:#0d47a1;
  classDef hub fill:#fce4ec,stroke:#ad1457,stroke-width:2px,color:#880e4f;
  classDef out fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px,color:#1b5e20;
  class OL,REPO src;
  class BUILD build;
  class NGINX hub;
  class R1,R2,R3,R4 out;

📕 Скачать PDF всей книги
Внизу справа на любой странице — ИИ-ассистент, который знает всю книгу. Можно спросить определение, попросить пример, построить график или разобрать формулу. Попробуйте:
Наверх