mipt_spring2026_plan
МФТИ — Курс «Методы оптимизации» — План на весну 2026
Создано: 2026-02-25
Источник: анализ репозитория https://github.com/MerkulovDaniil/mipt25
Сайт: https://mipt25.fmin.xyz
1. Обзор курса
Курс «Методы оптимизации» на МФТИ, 2025-2026 учебный год. Два семестра, отдельная оценка за каждый.
Формула: 50% работа в семестре + 50% экзамен + бонусы.
Работа в семестре = тесты + домашки + проект (равные веса).
Команда (весна 2026)
| Роль | Имя |
|---|---|
| Преподаватель | Даниил Меркулов |
| Ассистент | Александр Тришин |
| Ассистент | Алексей Ребриков |
| Ассистент | Денис Рубцов |
| Ассистент | Илья Забара |
| Ассистент | Фанис Хафизов |
5 ассистентов (было 3 в осеннем семестре: Илья, Александр, Денис; добавились Алексей и Фанис).
Технологический стек
- Сайт: Quarto + GitHub Pages (gh-pages branch), custom fminxyz extension
- Слайды: Beamer (XeLaTeX/pdflatex) из .md файлов
- Шрифты: CMU, Palatino (файлы в files/palatino/)
- CI/CD: GitHub Actions (publish.yml) — автосборка и деплой на push в main
- Коммуникации: Telegram (@mipt25_fmin), Google Classroom, Google Sheets (оценки)
- Видео: YouTube playlist (PLQSHEO58cjmPL1HsTcsRxIDbBnNC9DMWX)
2. Полная таблица лекций
Осенний семестр (сентябрь-декабрь 2025) — ЗАВЕРШЁН
| # | Тема | Слайды | Конспект | YouTube | Скачать | Домашка | Статус |
|---|---|---|---|---|---|---|---|
| 1 | Линейная алгебра. Матричные разложения. SVD. Skeleton. Градиент. Гессиан | .md + PDF | link | Yandex Disk | Linear algebra basics | DONE | |
| 2 | Матрично-векторное дифференцирование. Автодифф. Forward/Reverse Mode | .md + PDF | link | Yandex Disk | Matrix calculus + AD | DONE | |
| 3 | Выпуклость. Выпуклые множества. Неравенство Йенсена | .md + PDF | link | Yandex Disk | Convexity | DONE | |
| 4.1 | Сопряженные множества. Сопряженные конусы. Многогранники | .md + PDF | link | Yandex Disk | Conjugate sets | DONE | |
| 4.2 | Сопряженные функции. Преобразование Лежандра | .md + PDF | link | Yandex Disk | Conjugate functions | DONE | |
| 5 | Субградиент. Субдифференциал. Теоремы Моро-Рокафеллара | .md + PDF | link | Yandex Disk | Subgradients | DONE | |
| 6 | Условия оптимальности. Лагранж. KKT | .md + PDF | – | – | KKT | DONE | |
| 7 | Двойственность. Двойственная задача | .md + PDF | link | Yandex Disk | Duality | DONE | |
| 8 | Линейное программирование. Симплекс метод | .md + PDF | link | Yandex Disk | LP | DONE | |
| 9 | Двойственность в ЛП. Анализ чувствительности | .md + PDF | link | Yandex Disk | LP duality | DONE | |
| 10 | Классификация задач оптимизации. Line search. Правила Армихо-Гольдштейна | .md + PDF | link | Yandex Disk | Convergence + Line search | DONE | |
| 11 | Градиентный спуск. Теоремы сходимости | .md + PDF | link | Yandex Disk | Gradient Descent | DONE | |
| 12 | Нижние оценки. Ускорение. Полиномы Чебышева | .md + PDF | link | Yandex Disk | Accelerated methods | DONE | |
| 13 | Метод тяжёлого шарика. Метод Нестерова | .md + PDF | link | Yandex Disk | (часть Accelerated) | DONE | |
| 14 | Метод сопряженных направлений/градиентов | .md + PDF | link | Yandex Disk | Conjugate gradients | DONE |
Осенний экзамен проведён (autumn_exam.qmd + keys).
Переходный период (январь-февраль 2026)
| # | Тема | Слайды | Конспект | YouTube | Домашка | Статус |
|---|---|---|---|---|---|---|
| 14.5 | Повторение первого семестра. Решение задач | .md + PDF | – | – | DONE | |
| 15 | Метод Ньютона. Квазиньютоновские методы | .md + PDF | link | Newton/quasi-Newton | DONE | |
| 16 | Метод проекции градиента. Франк-Вульф. Зеркальный спуск | .md + PDF | link | Conditional gradient methods | DONE |
Весенний семестр (февраль-май 2026) — ТЕКУЩИЙ
| # | Тема | Слайды (.md) | Конспект (PDF) | YouTube | Домашка | Статус |
|---|---|---|---|---|---|---|
| 17 | Субградиентный метод. Негладкий случай. l1 + зеркальный спуск | 635 строк | НЕТ | – | Subgradient method | PENDING |
| 18 | Проксимальный градиентный метод | 752 строки | – (в materials.yml: /notes/18.pdf, но файла нет в repo) | – | Proximal gradient method | PENDING |
| 19 | Стохастические градиентные методы. SGD. SAG. SVRG | 805 строк | – (аналогично) | – | Stochastic gradient methods | PENDING |
| 20 | Практические SGD. AdamW. Muon. Shampoo. AlgoPerf | 314 строк | – | – | Neural network training | PENDING |
| 21 | Insights из обучения нейросетей. Grokking. Double Descent | 378 строк | – | – | (часть Neural network training) | PENDING |
| 22 | Обучение больших моделей. LARS, LAMB. LR schedulers. MultiGPU | 346 строк | – | – | Big models | PENDING |
| 23 | Двойственные методы. ADMM. Метод модифицированного Лагранжиана | 558 строк | – | – | ADMM | PENDING |
| 24 | Оптимизация в непрерывном времени. Gradient Flow. AGF. SGF | 498 строк | – | – | Continuous time methods | PENDING |
| 25 | (Gradient Flow, duplicated content from 24) | 225 строк | – | – | – | PENDING |
| 26 | (Нет файла лекции) | НЕТ | – | – | – | NOT CREATED |
Примечание: materials.yml ссылается на notes для лекций 18-26, но реальных PDF-файлов конспектов в notes/ нет (есть только 1-16 + recap). Слайды (.md) существуют для всех лекций до 25 включительно.
Сводка
- Лекции с полными материалами (слайды + конспект + видео): 1-5, 7-16 (15 лекций)
- Лекции без видео, но с конспектом: 6 (KKT)
- Лекции только со слайдами (нужно записать/подготовить конспект): 17-25
- Лекция не создана: 26
- Лекции с существующей домашкой: все до 24 включительно
3. Предполагаемое расписание весеннего семестра
Формат: 1 лекция в неделю, понедельник, 3 часа (2 x 1.5ч с перерывом).
Весенний семестр МФТИ: ~февраль - конец мая 2026.
Учитывая, что по git-логу лекции 15-16 уже прочитаны (конспекты загружены 9-19 февраля 2026):
| Неделя | Дата (пн) | Лекция # | Тема | Ответственный ассистент | HW |
|---|---|---|---|---|---|
| 1 | 2 фев | 14.5 | Повторение. Решение задач | – | – |
| 2 | 9 фев | 15 | Метод Ньютона. Квазиньютоновские методы | Тришин | Newton HW |
| 3 | 16 фев | 16 | Проекция градиента. Франк-Вульф. Зеркальный спуск | Ребриков | Conditional gradient HW |
| 4 | 24 фев | 17 | Субградиентный метод (негладкий случай) | Рубцов | Subgradient HW |
| 5 | 2 мар | 18 | Проксимальный градиентный метод | Забара | Proximal HW |
| 6 | 9 мар | 19 | Стохастические градиентные методы (SGD, SAG, SVRG) | Хафизов | SGD HW |
| 7 | 16 мар | 20 | Адаптивные градиентные методы. AdamW, Muon, Shampoo | Тришин | Neural network training HW |
| 8 | 23 мар | 21 | Insights из обучения нейросетей. Grokking, Double Descent | Ребриков | (included above) |
| 9 | 30 мар | 22 | Обучение больших моделей. LARS/LAMB, LR schedulers | Рубцов | Big models HW |
| 10 | 6 апр | 23 | Двойственные методы. ADMM | Забара | ADMM HW |
| 11 | 13 апр | 24 | Оптимизация в непрерывном времени. Gradient Flow | Хафизов | Continuous time HW |
| 12 | 20 апр | 25 | Gradient Flow (продолжение) / Stochastic GF | Тришин | (included above) |
| 13 | 27 апр | 26 | Финальная лекция (см. раздел 4) | Ребриков | – |
| 14 | 4 мая | – | Резерв / предзащита проектов | – | – |
| 15 | 11 мая | – | Защита проектов / Подготовка к экзамену | – | – |
| 16 | 18 мая | – | Защита проектов (финал) | – | – |
| 17 | 25 мая | – | Экзамен | – | – |
4. Ротация ассистентов
Принцип
5 ассистентов на 10-12 недель активных лекций = 2 цикла по 5 недель или чередование по round-robin.
Обязанности ассистента на неделю
- Тест (Google Forms, 5-15 вопросов по материалу предыдущей лекции) – к началу лекции
- Присутствие на лекции (помощь с вопросами, мониторинг)
- Конспект (PDF рукописных заметок) – в течение 3 дней после лекции
- Домашнее задание (до 4 задач) – публикация в homework.md, дедлайн через 2 недели
- Проверка домашних работ предыдущего задания (в неделю проверки)
Ротация (Round-Robin)
| Неделя | Тест + конспект | HW подготовка | HW проверка (предыдущей) |
|---|---|---|---|
| 4 (лекц. 17) | Рубцов | Рубцов | Ребриков |
| 5 (лекц. 18) | Забара | Забара | Рубцов |
| 6 (лекц. 19) | Хафизов | Хафизов | Забара |
| 7 (лекц. 20) | Тришин | Тришин | Хафизов |
| 8 (лекц. 21) | Ребриков | Ребриков | Тришин |
| 9 (лекц. 22) | Рубцов | Рубцов | Ребриков |
| 10 (лекц. 23) | Забара | Забара | Рубцов |
| 11 (лекц. 24) | Хафизов | Хафизов | Забара |
| 12 (лекц. 25) | Тришин | Тришин | Хафизов |
| 13 (лекц. 26) | Ребриков | – | Тришин |
Параллельно все 5 ассистентов курируют проекты (см. раздел 6).
5. Проектный компонент
Зачем
Проекты – ключевой элемент весеннего семестра. Цель: 5 статей, поданных на конференции/журналы/воркшопы.
Проект = 1/3 оценки за работу в семестре.
Формат проектов
- Команда: 4-5 студентов
- Методология: OODA-цикл (Observe - Orient - Decide - Act), каждые 2 недели
- Репозиторий: GitHub, структура:
your-repo/ ├── README.md # описание проекта ├── report.md # основной отчёт (накапливается) ├── notebooks/ # Jupyter-эксперименты ├── src/ # чистый код ├── tests/ # тесты └── docs/ ├── dev_log.md # дневник решений └── critiques/ # самокритики + peer-feedback - Шаблон LaTeX:
/projects/project_proposal.zip(или Overleaf)
Расписание проектных дедлайнов
| Дата (пт) | Неделя | Дедлайн | Что сдаётся | Баллы |
|---|---|---|---|---|
| 14 мар | 6 | D1: Постановка задачи | README + формализация задачи (2 стр.) | 4 |
| 28 мар | 8 | D2: Литобзор + baseline | 3+ ключевых источника, воспроизведённый baseline | 16 |
| 11 апр | 10 | D3: Черновик + эксперименты | report.md v1, первые результаты, графики | – |
| 18 апр | 11 | Peer-feedback | Каждый читает 2 чужих отчёта, пишет critique | – |
| 25 апр | 12 | D4: Ревизия | report.md v2 с учётом фидбека | 10 |
| 9 мая | 14 | D5: Предзащита | Презентация 10 мин + Q&A (черновик постера) | 10 |
| 16 мая | 15 | D6: Финальный постер + отчёт | Полная статья (conference format) + постер | 20 |
| 23 мая | 16 | Защита | Публичная защита | – |
Все дедлайны – пятница, 23:59 MSK. Push в GitHub = сдал.
Оценка проектной части
| Компонент | Вес |
|---|---|
| Регулярность (D1-D6 в срок) | 30% |
| Качество итогового отчёта | 40% |
| Защита (чёткость, вопросы) | 20% |
| Peer-feedback (дал полезный) | 10% |
Бонус: pull request в основной репозиторий курса или принятая статья = +1 к итоговой оценке.
Роль ассистентов в проектах
Каждый ассистент ведёт ~5-6 студентов (25-30 студентов / 5 ассистентов):
- Читает report.md каждые 2 недели
- Даёт письменный фидбек в GitHub Issues
- Принимает предзащиту D5
- Присутствует на финальной защите
- 3 встречи за семестр (нед. 6, 10, 14) по 30 мин
Координация: еженедельный 15-мин синк (ассистенты -> лектор), пятница 16:00.
6. Пул тем для проектов (10 предложений)
Каждая тема содержит чёткую задачу оптимизации и потенциал для публикации.
1. Operator Splitting для обучения нейросетей
Задача: Исследовать применение методов расщепления (splitting) к задаче минимизации loss функции нейросети. Сравнить с ADMM-подходами для decoupling слоёв.
Связь с курсом: лекции 23 (ADMM), 24 (gradient flow).
Baseline: воспроизвести результаты из [Taylor et al., 2016].
2. Old Optimizer, New Norm — исследование нестандартных операторных норм
Задача: По статье Bernstein et al., 2024 исследовать построение методов оптимизации из ядерной нормы и других операторных норм. Сравнить теоретически и численно.
Связь с курсом: лекции 11-13 (GD, ускорение), 20 (Muon, Shampoo).
Baseline: реализация Muon + сравнение на nanoGPT.
3. Сравнение современных оптимизаторов (Lion, Sophia, AdamW, Muon) на LLM
Задача: Бенчмаркинг 4-5 оптимизаторов на задачах NLP (GPT-2, OPT) с единой методологией. Исследование зависимости от batch size, learning rate schedule.
Связь с курсом: лекции 20-22.
Baseline: TinyStories baseline из домашки (Big models HW).
4. Landscape Analysis: связь BatchNorm/LayerNorm с flat minima
Задача: Исследовать как нормализация влияет на ландшафт loss surface. Визуализация (1D/2D проекции), анализ Hessian спектра, связь с обобщающей способностью.
Связь с курсом: лекции 15 (Ньютон, спектр Гессиана), 21 (double descent, loss landscape).
Baseline: методы визуализации из [Li et al., “Visualizing the Loss Landscape”].
5. Federated Learning: FedAvg vs. локальные методы оптимизации
Задача: Реализовать и сравнить FedAvg, FedProx, SCAFFOLD на стандартных бенчмарках. Анализ сходимости при гетерогенных данных.
Связь с курсом: лекции 19-20 (SGD, variance reduction), 23 (dual methods).
Baseline: FedAvg на CIFAR-10 с heterogeneous splits.
6. Квантизация LLM через Kashin decomposition
Задача: По статье Merkulov et al. исследовать, почему некоторые унитарные матрицы плохо подходят для построения представлений Кашина. Предложить объяснение и/или альтернативные матрицы.
Связь с курсом: лекция 1 (SVD), лекция 15 (адаптивная метрика).
Baseline: код из статьи.
7. Dataset Distillation для текстовых данных
Задача: По статье Wang et al., 2018 применить dataset distillation к текстовым данным (Tiny Stories). Решить задачу билевельной оптимизации для синтетических обучающих примеров.
Связь с курсом: лекции 11 (GD), 19-20 (SGD), 22 (large models).
Baseline: оригинальный код на MNIST.
8. LLM как оптимизатор-чёрный ящик
Задача: Использовать LLM (GPT-4/Claude) в качестве zero-order optimizer. Подавать локальную информацию о функции и градиенте, просить вернуть следующую итерацию. Анализировать траектории и сравнивать с классическими методами.
Связь с курсом: лекции 10-11 (line search, GD), 15 (Newton).
Baseline: реализация на простых функциях (Rosenbrock, Rastrigin).
9. Scaling Laws для гиперпараметров обучения
Задача: По статье Yang et al., 2025 исследовать как масштабировать гиперпараметры (batch size, learning rate) при увеличении модели. Воспроизвести на маленьких моделях.
Связь с курсом: лекция 22 (large batch training, LR schedulers).
Baseline: серия экспериментов GPT-2 разных размеров.
10. Библиотека бенчмаркинга методов оптимизации
Задача: Создать Python-библиотеку для систематического сравнения методов оптимизации: единый интерфейс, автоматические запуски, построение графиков, стат. тесты.
Связь с курсом: весь курс.
Baseline: обзор существующих (benchopt, AlgoPerf).
7. Контент лекции 26 (финальная лекция)
На основе анализа (см. /root/Strategy/meetings/mipt_lecture26_plan.md):
Рекомендуемый формат: Гибридная лекция
Часть 1 (1.5ч): Современные рубежи оптимизации в ML
- RLHF как задача оптимизации (constrained optimization, KL penalty) – 20 мин
- Direct Preference Optimization (DPO) – связь с Legendre transform – 20 мин
- Билевельная оптимизация (MAML, hyperparameter optimization) – 15 мин
- Test-Time Compute и Scaling Laws – 15 мин
- Open problems (matrix-aware methods, RL for optimization) – 10 мин
Часть 2 (1.5ч): Проектный процесс
- Запуск проектов (к этому моменту D1 уже сдан, D2 на подходе)
- Lightning talks от команд (3-5 мин каждая)
- Фидбек от лектора и ассистентов
8. Обновлённая инструкция для ассистентов
Общие требования
-
Презентация семинара (на русском языке)
- Формат: Quarto + Beamer (XeLaTeX)
- Источники материалов: основной репозиторий (mipt25), предыдущий год (mipt24)
- Время: 1-1.5 часа
- Содержание: разбор ключевых теорем и доказательств из лекции, решение задач -
Тест (Google Forms)
- 5-15 вопросов по материалу предыдущей лекции
- Проводится в начале лекции (10-15 мин)
- Содержит: определения, формулировки теорем, простые вычисления -
Домашнее задание (homework.md)
- Максимум 4 задачи (снижено с предыдущих объёмов для освобождения времени на проекты)
- Задачи должны быть разной сложности (10-40 баллов)
- Обязательно: хотя бы 1 задача с программированием (Colab notebook)
- Дедлайн: 2 недели с момента публикации
- Формат сдачи: Google Classroom (PDF + Colab ссылка) -
Конспект лекции (notes/)
- Рукописный или набранный PDF
- Загрузить в repo в течение 3 дней после лекции
- Формат: notes/{номер_лекции}.pdf -
Кураторство проектов
- Каждый ассистент – куратор 5-6 студентов
- Чтение report.md каждые 2 недели
- Фидбек через GitHub Issues
- 3 встречи за семестр
- Участие в предзащите и защите
Недельный цикл ассистента (в неделю дежурства)
| День | Задача |
|---|---|
| Пн (до лекции) | Загрузить тест в Google Forms |
| Пн (лекция) | Присутствовать, помогать с вопросами |
| Пн-Чт | Подготовить конспект лекции |
| Чт | Загрузить конспект в notes/ |
| Пт | Опубликовать домашнее задание (добавить в homework.md, push) |
| Пт 16:00 | Еженедельный синк с лектором (15 мин) |
Чек-лист для каждой домашки
- Сформулировать 2-4 задачи (суммарно 40-60 баллов)
- Минимум 1 задача с кодом (Colab notebook)
- Проверить формулировки на однозначность
- Указать баллы за каждую задачу и подзадачу
- Добавить в homework.md в правильную секцию
- Создать commit с понятным сообщением
- Push в main (автодеплой через GitHub Actions)
Чек-лист для каждого теста
- 5-15 вопросов по предыдущей лекции
- Смесь форматов: multiple choice, true/false, краткий ответ
- Включить хотя бы 1 вопрос на формулировку определения/теоремы
- Установить ограничение по времени (10-15 мин)
- Опубликовать в Google Classroom
Инструменты
- Git/GitHub: все материалы через PR или прямой push в main
- Quarto: для сборки лекций (
.md-> PDF slides + website) - Beamer + XeLaTeX: для слайдов (шрифты: CMU, Palatino)
- Google Classroom: сдача домашек, тесты
- Google Sheets: ведомость
- Telegram: @mipt25_fmin (анонсы)
- YouTube: запись лекций
9. Что осталось подготовить
Срочно (до конца февраля)
- Записать видео для лекции 15 (YouTube + Yandex Disk) – или пометить что запись велась
- Записать видео для лекции 16
- Создать конспект (notes/17.pdf) для лекции 17
- Проверить и обновить materials.yml: убрать ссылки на несуществующие notes для лекций 18-26
- Обсудить с ассистентами распределение проектов
На ближайшие недели
- Подготовить лекцию 26 (.md файл) – тема: “Современные рубежи + итоги”
- Создать template репозитория для проектов (fork из damek/STAT-4830-project-base)
- Составить финальный список тем проектов и согласовать с ассистентами
- Создать spring_exam.qmd по аналогии с autumn_exam.qmd
- Подготовить расписание весеннего экзамена
К концу семестра
- Все конспекты (notes/) для лекций 17-26 загружены
- Все лекции записаны на YouTube
- Проекты защищены, оценки проставлены
- Экзамен проведён
- 5 статей поданы (цель проектной части)
10. Ключевые отличия от осеннего семестра
| Аспект | Осень 2025 | Весна 2026 |
|---|---|---|
| Ассистентов | 3 (Тришин, Рубцов, Забара) | 5 (+Ребриков, Хафизов) |
| Проекты | Нет | Да (главный фокус) |
| Домашки | 4+ задач, ~50-80 баллов | 2-4 задачи, 40-60 баллов (уменьшено) |
| Конспекты | Все есть (1-16) | Нужно создать (17-26) |
| Видео | Все записаны (1-14, кроме 6) | Нужно записать (17-26) |
| Экзамен | Осенний (формулировки + теорема + задача + доп.) | Весенний (аналогичный формат) |
| Тематика | Теория (выпуклость, двойственность, LP, GD, ускорение) | Методы (проксимальные, стохастические, нейросетевые, dual, continuous) |
Документ создан Феанором по результатам анализа репозитория mipt25 и существующих планов.
Связанные документы: mipt_lecture26_plan.md, mipt_project_schedule.md