Strategy/projects/files/mipt/mipt_d2_evaluation_rubric.md
+

mipt_d2_evaluation_rubric

МФТИ — D2 Evaluation Rubric (Литобзор + Baseline)

Создано: 2026-03-13. Феанор worker.
Дедлайн D2: 28 марта 2026, 23:59 MSK

Что проверяем (D2 = Литобзор + Baseline)

Студент сдаёт:
1. report.md — секция “Related Work” (~1 стр) + секция “Baseline” (~1 стр)
2. notebooks/ или src/ — код запуска baseline

Время на проверку: ~5–7 мин на команду.

Чеклист (0–10 баллов)

# Критерий Баллы
1 Минимум 3 источника (arxiv + год + авторы) 1.0
2 Для каждого источника: конкретный результат (теорема, метрика, оценка) 1.5
3 Связь с собственной задачей: почему эти статьи релевантны? 1.0
4 Ссылки в формате: [Авторы, YYYY, arxiv:XXXXXXX] 0.5

Baseline (6 баллов)

# Критерий Баллы
5 Выбран конкретный алгоритм из литературы (не ваш метод!) 1.0
6 Baseline воспроизведён: код запускается, дает результат 2.0
7 Числовые результаты: метрики записаны в report.md 1.5
8 Воспроизводимость: python baseline.py или ячейка notebook + README инструкции 1.0
9 Сравнение с baseline осмысленно: метрика соответствует задаче 0.5

Частые ошибки (−0.5 балл каждая)

Ошибка Описание
Survey без результатов “В работе [X] изучали Y” — без конкретных цифр/теорем
Нет запускаемого кода baseline описан словами, но нет кода
Baseline = их собственный метод Baseline должен быть ЧУЖОЙ метод для сравнения
Нет ссылок в тексте report.md не цитирует источники в тексте
Нет инструкций запуска Ревьюер не может воспроизвести baseline за 5 мин

Оценки

Баллы Оценка Комментарий
9–10 ✅ Отлично Publishable related work + воспроизводимый baseline
7–8 👍 Хорошо Мелкие дыры в обзоре или baseline частично воспроизведён
5–6 🟡 Удовлетворительно Обзор есть, baseline описан но не воспроизведён
3–4 ⚠️ Слабо Менее 3 источников или baseline отсутствует
0–2 ❌ Не сдано Нет related work или нет baseline 
## Related Work

**Методы первого порядка для задач LASSO:**

1. **ISTA/FISTA** (Beck & Teboulle, 2009, arxiv:N/A): proximal gradient с
   momentum. O(1/k²) сходимость для гладкой части. *Используем как baseline.*

2. **Coordinate Descent** (Friedman et al., 2010, JRSS-B): покоординатный спуск
   для LASSO. O(n·p) итерация, масштабируется до p=10⁶. *Сравниваем по времени.*

3. **ADMM для Group LASSO** (Boyd et al., 2011, arXiv:1011.1010): разложение
   через переменные-дублёры. Наш метод = модификация §3.1 ADMM с нашей regularizer.

Пример хорошего Baseline

## Baseline

**Метод**: ISTA (Beck & Teboulle, 2009)
**Датасет**: Boston Housing, n=506, p=13
**Гиперпараметры**: λ=0.1, L=1.0 (Lipschitz const, оценён численно), 1000 итераций

| Метрика | ISTA (baseline) | Наш метод |
|---------|----------------|-----------|
| MSE (test) | 23.4 ± 0.3 | TBD |
| Время (сек) | 0.12 | TBD |
| Ненулевых коэф. | 7/13 | TBD |

Воспроизведение: `python baseline_ista.py --lambda 0.1 --iters 1000`

Как проверять форки (ассистенты)

  1. Открыть github.com/MerkulovDaniil/mipt25-opt-project-template/network/members
  2. Каждый форк: смотреть report.md → секции “Related Work” + “Baseline”
  3. Если notebook: открыть, проверить что есть output (запущено?)
  4. Смотреть последний коммит — если до 28 мар 23:59 → зачтено

Расписание ближайших дедлайнов

Дата Дедлайн Что
28 мар D2 Related Work + Baseline
11 апр D3 report.md v1 + первые результаты
18 апр Peer-feedback 2 чужих отчёта → critique

По вопросам: Тришин, Ребриков, Рубцов, Забара, Хафизов — ассистенты курса

Choose icon