Тяжёлые хвосты

Средняя зарплата в баре — 60 тысяч. Заходит Илон Маск — и «средняя» становится миллиард. Изменилось ли что-то для остальных? Нет. Это и есть тяжёлый хвост: одно редкое огромное значение перевешивает тысячу обычных, и привычное «среднее» перестаёт что-либо значить. Хуже того — у некоторых распределений среднего нет вообще, и выборочное среднее не сходится, сколько данных ни собирай.

Распределение, у которого нет среднего

Возьмём распределение Стьюдента t_\nu с \nu степенями свободы. При больших \nu оно почти неотличимо от гауссова — лёгкие хвосты, всё «прилично». Но чем меньше \nu, тем тяжелее хвосты: экстремальные значения становятся не такими уж редкими. Граничные случаи поражают:

  • \nu > 2 — дисперсия конечна, работает центральная предельная теорема;
  • 1 < \nu \le 2 — дисперсия бесконечна, но среднее ещё существует;
  • \nu = 1 — это распределение Коши, у которого нет даже среднего.

Последнее звучит абсурдно: как у симметричного относительно нуля распределения может не быть среднего? Формально интеграл \int x\, p(x)\,dx расходится — хвост p(x)\sim 1/x^2 спадает так медленно, что «масса» на бесконечности не даёт интегралу сойтись. Практически это значит: сколько бы выборок Коши вы ни усредняли, выборочное среднее не успокаивается — каждый новый гигантский выброс отбрасывает его в сторону. Закон больших чисел не работает.

Эксперимент

Меняйте \nu. Сверху — бегущее выборочное среднее по мере роста числа выборок. У гауссова (серое) оно за сотню-другую точек садится на ноль. У тяжёлого хвоста (красное) при малых \nu оно скачет и не сходится. Снизу — сами выборки: видно редкие гигантские выбросы (красные стебли), каждый из которых в одиночку дёргает среднее. При \nu=1 один выброс легко превышает все остальные данные вместе взятые.

Обратите внимание на max|x| в табло: при \nu=1 он бывает в тысячи раз больше типичной выборки. Именно такие «чёрные лебеди» и определяют поведение тяжёлохвостых величин — не «типичное» значение, а экстремальное.

Где это встречается

Тяжёлые хвосты — не математическая экзотика, а норма для многих реальных данных:

  • Доходы и богатство — закон Парето («80/20»), хвост по степенному закону.
  • Размеры городов, частоты слов — закон Ципфа.
  • Финансовые потери — доходности активов имеют хвосты тяжелее гауссовых; именно поэтому риск-модели на нормальном распределении недооценивают крах.
  • Задержки в сети, размеры файлов, время до отказа — сплошь и рядом тяжёлые.

Во всех этих случаях фраза «в среднем» вводит в заблуждение, а доверительный интервал, посчитанный по формуле с конечной дисперсией, — просто неверен.

Что делать

  1. Смотрите на медиану, а не среднее. Медиана устойчива к выбросам и существует всегда.
  2. Изучайте сам хвост. Постройте распределение в логарифмических осях: степенной хвост превращается в прямую, и по её наклону оценивается индекс хвоста.
  3. Не доверяйте ЦПТ вслепую. Прежде чем строить доверительный интервал, проверьте, конечна ли дисперсия — иначе 1/\sqrt{n}-сходимость не наступит.
  4. Считайте максимум значимой величиной. В тяжёлохвостом мире рекорд — это не шум, а часто и есть главный сигнал.
УведомлениеСвязь с гауссом

Стьюдентово t_\nu \to \mathcal N(0,1) при \nu\to\infty. Тяжёлые хвосты — это не «другой мир», а непрерывная шкала: параметр \nu плавно ведёт от дикого Коши к ручному гауссу. Большинство классических методов статистики живут на правом конце этой шкалы — и молча предполагают, что ваши данные тоже там.

Связи

  • Почему шум гауссов (§ ЦПТ): когда хвосты лёгкие, суммы сходятся к гауссу — и наоборот.
  • Метод наименьших квадратов (§ МНК): квадрат ошибки штрафует выбросы квадратично, поэтому МНК крайне чувствителен к тяжёлым хвостам; робастные потери (Хьюбер) — ответ.
  • Монте-Карло: оценки средних по тяжёлохвостым подынтегральным функциям сходятся мучительно медленно или не сходятся вовсе.
Наверх