Тест Колмогорова – Смирнова - Kolmogorov–Smirnov test

Иллюстрация статистики Колмогорова – Смирнова. Красная линия CDF, синяя линия - это ECDF, а черная стрелка - статистика K – S.

В статистика, то Тест Колмогорова – Смирнова (K – S тест или же KS тест) это непараметрический тест равенства непрерывных (или разрывных, см. Раздел 2.2 ), одномерный распределения вероятностей который можно использовать для сравнения образец с эталонным распределением вероятностей (тест K – S для одной выборки) или для сравнения двух выборок (тест K – S для двух выборок). Он назван в честь Андрей Колмогоров и Николай Смирнов.

Статистика Колмогорова – Смирнова дает количественную оценку расстояние между эмпирическая функция распределения образца и кумулятивная функция распределения эталонного распределения или между эмпирическими функциями распределения двух выборок. В нулевое распределение этой статистики рассчитывается по нулевая гипотеза что выборка взята из эталонного распределения (в случае с одной выборкой) или что выборки взяты из того же распределения (в случае с двумя выборками). В случае с одной выборкой распределение, рассматриваемое при нулевой гипотезе, может быть непрерывным (см. Раздел 2 ), чисто дискретные или смешанные (см. Раздел 2.2 ). В двухвыборочном случае (см. Раздел 3 ), распределение, рассматриваемое при нулевой гипотезе, является непрерывным распределением, но в остальном не имеет ограничений.

Двухвыборочный тест K – S является одним из наиболее полезных и общих непараметрических методов для сравнения двух выборок, поскольку он чувствителен к различиям как в расположении, так и в форме эмпирических кумулятивных функций распределения двух выборок.

Тест Колмогорова – Смирнова можно модифицировать так, чтобы он служил степень соответствия тест. В частном случае тестирования на нормальность распределения образцы стандартизируются и сравниваются со стандартным нормальным распределением. Это эквивалентно установке среднего значения и дисперсии эталонного распределения, равных оценкам выборки, и известно, что их использование для определения конкретного эталонного распределения изменяет нулевое распределение тестовой статистики (см. Тест с расчетными параметрами ). Различные исследования показали, что даже в этой исправленной форме тест менее эффективен для проверки нормальности, чем тест. Тест Шапиро-Уилка или же Тест Андерсона – Дарлинга.^[1] Однако у этих других тестов есть свои недостатки. Например, известно, что критерий Шапиро – Уилка не работает для образцов с множеством идентичных значений.

Статистика Колмогорова – Смирнова

В эмпирическая функция распределения F_п за п независимые и одинаково распределенные (i.i.d.) заказанные наблюдения Икс_я определяется как

${displaystyle F_ {n} (x) = {1 over n} sum _ {i = 1} ^ {n} I _ {[- infty, x]} (X_ {i})}$

куда ${displaystyle I _ {[- infty, x]} (X_ {i})}$ это индикаторная функция, равный 1, если ${displaystyle X_ {i} leq x}$ и равняется 0 в противном случае.

Колмогоров – Смирнов статистика для данного кумулятивная функция распределения F(Икс) является

${Displaystyle D_ {n} = sup _ {x} | F_ {n} (x) -F (x) |}$

где sup_Икс это супремум набора расстояний. Посредством Теорема Гливенко – Кантелли., если образец поступает из раздачи F(Икс), тогда D_п сходится к 0 почти наверняка в пределе, когда ${displaystyle n}$ уходит в бесконечность. Колмогоров усилил этот результат, эффективно указав скорость этой сходимости (см. Колмогоровское распределение ). Теорема Донскера обеспечивает еще более сильный результат.

На практике для статистики требуется относительно большое количество точек данных (по сравнению с другими критериями согласия, такими как Тест Андерсона – Дарлинга статистика), чтобы правильно отклонить нулевую гипотезу.

Колмогоровское распределение

Иллюстрация распределения Колмогорова PDF.

Распределение Колмогорова - это распределение случайная переменная

${displaystyle K = sup _ {tin [0,1]} | B (t) |}$

куда B(т) это Броуновский мост. В кумулятивная функция распределения из K дан кем-то^[2]

${displaystyle operatorname {Pr} (Kleq x) = 1-2sum _ {k = 1} ^ {infty} (- 1) ^ {k-1} e ^ {- 2k ^ {2} x ^ {2}} = {frac {sqrt {2pi}} {x}} sum _ {k = 1} ^ {infty} e ^ {- (2k-1) ^ {2} pi ^ {2} / (8x ^ {2})} ,}$

что также может быть выражено Тета-функция Якоби ${displaystyle vartheta _ {01} (z = 0; au = 2ix ^ {2} / pi)}$. И форма статистики критерия Колмогорова – Смирнова, и ее асимптотическое распределение при нулевой гипотезе были опубликованы Андрей Колмогоров,^[3] а таблицу распределения опубликовал Николай Смирнов.^[4] Доступны рекуррентные соотношения для распределения тестовой статистики в конечных выборках.^[3]

При нулевой гипотезе о том, что выборка происходит из гипотетического распределения F(Икс),

${displaystyle {sqrt {n}} D_ {n} {xrightarrow {n o infty}} sup _ {t} | B (F (t)) |}$

в распределении, куда B(т) это Броуновский мост.

Если F непрерывно, то при нулевой гипотезе ${displaystyle {sqrt {n}} D_ {n}}$ сходится к распределению Колмогорова, которое не зависит от F. Этот результат может быть также известен как теорема Колмогорова. Точность этого предела как приближение к точной cdf ${displaystyle K}$ когда ${displaystyle n}$ конечно не очень впечатляет: даже когда ${displaystyle n = 1000}$соответствующая максимальная ошибка составляет около ${displaystyle 0,9 \%}$; эта ошибка увеличивается до ${displaystyle 2.6 \%}$ когда ${displaystyle n = 100}$ и к совершенно неприемлемому ${displaystyle 7 \%}$ когда ${displaystyle n = 10}$. Однако очень простой способ замены ${displaystyle x}$ к

${displaystyle x + {frac {1} {6 {sqrt {n}}}} + {frac {x-1} {4n}}}$

в аргументе тета-функции Якоби сводит эти ошибки к ${displaystyle 0,003 \%}$, ${displaystyle 0,027 \%}$, и ${displaystyle 0,27 \%}$ соответственно; такая точность обычно считается более чем достаточной для всех практических приложений.^[5]

В добродетель тест или тест Колмогорова – Смирнова могут быть построены с использованием критических значений распределения Колмогорова. Этот тест асимптотически верен, когда ${displaystyle n o infty}$. Он отвергает нулевую гипотезу на уровне ${displaystyle alpha}$ если

${displaystyle {sqrt {n}} D_ {n}> K_ {alpha} ,,}$

куда K_α находится из

${displaystyle operatorname {Pr} (Kleq K_ {alpha}) = 1-альфа.,}$

Асимптотика мощность этого теста 1.

Быстрые и точные алгоритмы вычисления cdf ${displaystyle operatorname {Pr} (D_ {n} leq x)}$ или его дополнение для произвольных ${displaystyle n}$ и ${displaystyle x}$, доступны из:

• ^[6] и ^[7] для непрерывных нулевых распределений с кодом на C и Java можно найти в ^[6].

• ^[8] для чисто дискретного, смешанного или непрерывного нулевого распределения, реализованного в пакете KSgeneral ^[9] из Проект R для статистических вычислений, который для данной выборки также вычисляет статистику теста KS и его p-значение. Альтернативная реализация C ++ доступна по адресу ^[8].

Тест с расчетными параметрами

Если форма или параметры F(Икс) определяются по данным Икс_я определенные таким образом критические значения недействительны. В таких случаях, Монте-Карло или могут потребоваться другие методы, но для некоторых случаев были подготовлены таблицы. Подробная информация о необходимых изменениях в статистике испытаний и о критических значениях для нормальное распределение и экспоненциальное распределение были опубликованы,^[10] и более поздние публикации также включают Гамбель раздача.^[11] В Тест Лиллиэфорса представляет собой частный случай нормального распределения. Преобразование логарифма может помочь преодолеть случаи, когда данные теста Колмогорова не соответствуют предположению о том, что они получены из нормального распределения.

При использовании оценочных параметров возникает вопрос, какой метод оценки следует использовать. Обычно это метод максимального правдоподобия, но, например, для нормального распределения MLE имеет большую ошибку смещения сигмы. Использование моментальной подгонки или минимизации KS вместо этого имеет большое влияние на критические значения, а также некоторое влияние на мощность теста. Если нам нужно решить для данных Student-T с df = 2 с помощью теста KS, могут ли данные быть нормальными или нет, тогда оценка ML на основе H₀ (данные являются нормальными, поэтому использование стандартного отклонения для масштаба) даст гораздо большее расстояние KS, чем соответствие с минимальным KS. В этом случае следует отказаться от H₀, что часто имеет место с MLE, потому что стандартное отклонение выборки может быть очень большим для данных T-2, но с минимизацией KS мы можем получить слишком низкий KS, чтобы отклонить H₀. В случае Стьюдента-T модифицированный тест KS с оценкой KS вместо MLE действительно немного ухудшает тест KS. Однако в других случаях такой модифицированный тест KS дает немного лучшую тестовую мощность.

Дискретное и смешанное нулевое распределение

В предположении, что ${displaystyle F (x)}$ является неубывающим и непрерывным вправо, со счетным (возможно, бесконечным) числом прыжков, статистика теста KS может быть выражена как:

${Displaystyle D_ {n} = sup _ {x} | F_ {n} (x) -F (x) | = sup _ {0leq tleq 1} | F_ {n} (F ^ {- 1} (t)) -F (F ^ {- 1} (t)) |.}$

Из правой непрерывности ${displaystyle F (x)}$, следует, что ${displaystyle F (F ^ {- 1} (t)) geq t}$ и ${displaystyle F ^ {- 1} (F (x)) leq x}$ а значит, распределение ${displaystyle D_ {n}}$ зависит от нулевого распределения ${displaystyle F (x)}$, т.е. больше не является свободным от распределения, как в непрерывном случае. Поэтому был разработан быстрый и точный метод вычисления точного и асимптотического распределения ${displaystyle D_ {n}}$ когда ${displaystyle F (x)}$ чисто дискретный или смешанный ^[8], реализованный на C ++ и в пакете KSgeneral ^[9] из R язык. Функции disc_ks_test (), mixed_ks_test () и cont_ks_test () вычислить также статистику теста KS и p-значения для чисто дискретных, смешанных или непрерывных нулевых распределений и произвольных размеров выборки. Тест KS и его p-значения для дискретных нулевых распределений и малых размеров выборки также вычисляются в ^[12] как часть пакета dgof языка R. Основные статистические пакеты, среди которых SAS PROC NPAR1WAY ^[13], Stata Ксмирнов ^[14] реализовать тест KS в предположении, что ${displaystyle F (x)}$ непрерывно, что является более консервативным, если нулевое распределение на самом деле не является непрерывным (см. ^{[15] [16] [17]}).

Двухвыборочный критерий Колмогорова – Смирнова.

Иллюстрация двухвыборочной статистики Колмогорова – Смирнова. Каждая красная и синяя линии соответствуют эмпирической функции распределения, а черная стрелка - статистике KS для двух выборок.

Тест Колмогорова – Смирнова также может использоваться для проверки того, различаются ли два лежащих в основе одномерных распределения вероятностей. В этом случае статистика Колмогорова – Смирнова равна

${Displaystyle D_ {n, m} = sup _ {x} | F_ {1, n} (x) -F_ {2, m} (x) |,}$

куда ${displaystyle F_ {1, n}}$ и ${displaystyle F_ {2, m}}$ являются эмпирические функции распределения первого и второго образца соответственно, и ${displaystyle sup}$ это функция супремума.

Для больших выборок нулевая гипотеза отклоняется на уровне ${displaystyle alpha}$ если

${displaystyle D_ {n, m}> c (alpha) {sqrt {frac {n + m} {ncdot m}}}.}$

Где ${displaystyle n}$ и ${displaystyle m}$ - размеры первой и второй выборки соответственно. Значение ${displaystyle c ({alpha})}$ приведена в таблице ниже для наиболее распространенных уровней ${displaystyle alpha}$

${displaystyle alpha}$	0.20	0.15	0.10	0.05	0.025	0.01	0.005	0.001
${displaystyle c ({alpha})}$	1.073	1.138	1.224	1.358	1.48	1.628	1.731	1.949

и вообще^[18] к

${displaystyle cleft (alpha ight) = {sqrt {-ln left ({frac {alpha} {2}} ight) cdot {frac {1} {2}}}},}$

так что условие читается

${displaystyle D_ {n, m}> {sqrt {-ln left ({frac {alpha} {2}} ight) cdot {frac {1+ {frac {m} {n}}} {2m}}}}. }$

Здесь, опять же, чем больше размер выборки, тем более чувствительна минимальная граница: для данного соотношения размеров выборки (например, ${displaystyle m = n}$) минимальная граница масштабируется в размере любого из образцов в соответствии с его обратным квадратным корнем.

Обратите внимание, что тест с двумя выборками проверяет, происходят ли две выборки данных из одного и того же распределения. Это не указывает, что это за общее распределение (например, нормальное оно или ненормальное). Опять же, были опубликованы таблицы критических значений. Недостатком теста Колмогорова – Смирнова является то, что он не очень мощный, поскольку разработан так, чтобы быть чувствительным ко всем возможным типам различий между двумя функциями распределения. Некоторые спорят^[19][20] что Тест Куккони, первоначально предложенный для одновременного сравнения местоположения и масштаба, может быть намного более мощным, чем тест Колмогорова – Смирнова при сравнении двух функций распределения.

Установка доверительных интервалов для формы функции распределения

В то время как тест Колмогорова – Смирнова обычно используется для проверки того, F(Икс) является основным распределением вероятностей F_п(Икс), процедура может быть инвертирована для получения доверительных интервалов F(Икс) сам. Если выбрать критическое значение тестовой статистики D_α такое, что P (D_п > D_α) = α, то полоса шириной ±D_α вокруг F_п(Икс) будет полностью содержать F(Икс) с вероятностью 1 -α.

Статистика Колмогорова – Смирнова более чем в одном измерении

Не имеющий распределения многомерный критерий согласия Колмогорова – Смирнова был предложен Justel, Peña and Zamar (1997).^[21] В тесте используется статистика, построенная с использованием преобразования Розенблатта, и разработан алгоритм для ее вычисления в двумерном случае. Также представлен примерный тест, который можно легко вычислить в любом измерении.

Статистические данные критерия Колмогорова – Смирнова необходимо изменить, если аналогичный критерий будет применяться к многомерные данные. Это непросто, потому что максимальная разница между двумя суставами кумулятивные функции распределения обычно не то же самое, что максимальная разность любой из дополнительных функций распределения. Таким образом, максимальная разница будет зависеть от того, какой из ${displaystyle Pr (x$ или же ${displaystyle Pr (X y)}$ или используется любое из двух других возможных расположений. Можно потребовать, чтобы результат используемого теста не зависел от того, какой выбор сделан.

Один из подходов к обобщению статистики Колмогорова – Смирнова на более высокие измерения, который отвечает вышеупомянутой проблеме, состоит в том, чтобы сравнить cdfs двух выборок со всеми возможными порядками и взять наибольшее значение из набора результирующих статистик K – S. В d габаритов всего 2^d−1 таких порядков. Одна из таких вариаций принадлежит Павлину.^[22] (см. также Gosset^[23] для 3D-версии) и еще один - Фазано и Франческини^[24] (см. сравнение и подробности расчетов у Лопеса и др.).^[25] Критические значения для статистики теста могут быть получены путем моделирования, но они зависят от структуры зависимости в совместном распределении.

В одном измерении статистика Колмогорова-Смирнова идентична так называемому звездному расхождению D, поэтому еще одно собственное расширение KS для более высоких измерений было бы просто использовать D также для более высоких измерений. К сожалению, звездное расхождение трудно рассчитать в больших размерах.

Реализации

Тест Колмогорова-Смирнова (один или два выборочных теста проверяют равенство распределений) реализован во многих программах:

• Mathematica имеет КолмогоровСмирновТест
• MATLAB имеет kstest в его панели инструментов статистики.
• В р пакет "KSgeneral"^[9] вычисляет статистику теста KS и его p-значения при произвольном, возможно дискретном, смешанном или непрерывном нулевом распределении.
• р базовый пакет статистики реализует тест как ks.test {stats} в его пакете "stats".
• SAS реализует тест в своей процедуре PROC NPAR1WAY.
• Python есть реализация этого теста, предоставленная SciPy^[26] статистическими функциями (scipy.stats)
• СИСТАТ (SPSS Inc., Чикаго, Иллинойс)
• Ява есть реализация этого теста, предоставленная Apache Commons^[27]
• KNIME имеет узел, реализующий этот тест на основе указанной выше реализации Java^[28]
• StatsDirect (StatsDirect Ltd, Манчестер, Великобритания) реализует все распространенные варианты.
• Stata (Stata Corporation, College Station, TX) реализует тест в команде ksmirnov (тест равенства распределений Колмогорова – Смирнова). ^[29]
• PSPP реализует тест в своем КОЛМОГОРОВ-СМИРНОВ (или с помощью ярлыка K-S функция.
• Excel запускает тест как KSCRIT и KSPROB ^[30]

Смотрите также

• Тест Лепажа
• Тест Куккони
• Тест Койпера
• Тест Шапиро-Уилка
• Тест Андерсона – Дарлинга
• Тест Крамера – фон Мизеса

Рекомендации

дальнейшее чтение

• Дэниел, Уэйн В. (1990). «Одновыборочная проба Колмогорова – Смирнова». Прикладная непараметрическая статистика (2-е изд.). Бостон: PWS-Kent. С. 319–330. ISBN  978-0-534-91976-4.
• Eadie, W.T .; Д. Дрижард; Ф.Э. Джеймс; М. Роос; Б. Садуле (1971). Статистические методы экспериментальной физики. Амстердам: Северная Голландия. С. 269–271. ISBN  978-0-444-10117-4.
• Стюарт, Алан; Орд, Кейт; Арнольд, Стивен [Ф.] (1999). Классический вывод и линейная модель. Продвинутая теория статистики Кендалла. 2А (Шестое изд.). Лондон: Арнольд. С. 25.37–25.43. ISBN  978-0-340-66230-4. МИСТЕР  1687411.
• Corder, G.W .; Форман Д. И. (2014). Непараметрическая статистика: пошаговый подход. Вайли. ISBN  978-1118840313.
• Стивенс М.А. (1979). «Проверка соответствия логистического распределения на основе эмпирической функции распределения». Биометрика. 66 (3): 591–595. Дои:10.1093 / biomet / 66.3.591.

внешняя ссылка

• «Тест Колмогорова – Смирнова», Энциклопедия математики, EMS Press, 2001 [1994]
• Краткое введение
• Объяснение теста KS
• Реализация односторонних и двусторонних тестов в JavaScript
• Онлайн-калькулятор с тестом KS
• Код C ++ с открытым исходным кодом для вычисления Колмогоровское распределение и выполнить KS тест
• Бумага на Оценка распределения Колмогорова; содержит реализацию C. Это метод, используемый в Matlab.
• Бумага на Вычисление двустороннего распределения Колмогорова – Смирнова; вычисление cdf статистики KS на C или Java.
• Бумага powerlaw: пакет Python для анализа распределений с тяжелым хвостом; Джефф Олстотт, Эд Буллмор, Дитмар Пленц. Помимо прочего, он также выполняет тест Колмогорова – Смирнова. Исходный код и установщики пакета powerlaw доступны по адресу PyPi.