Выброс - Outlier

Эта статья о статистическом термине. Для использования в других целях см. Выброс (значения).

Рисунок 1. Коробчатый сюжет данных из Эксперимент Майкельсона-Морли отображение четырех выбросов в среднем столбце и одного выброса в первом столбце.

В статистика, выброс это точка данных это существенно отличается от других наблюдений.[1][2] Выброс может быть из-за изменчивости измерения или может указывать на ошибку эксперимента; последние иногда исключаются из набор данных.[3] Выброс может вызвать серьезные проблемы при статистическом анализе.

Выбросы могут возникать случайно в любом распределении, но они часто указывают на либо погрешность измерения или что у населения есть распределение с тяжелым хвостом. В первом случае их нужно отбросить или использовать статистику, которая крепкий выбросам, а в последнем случае они указывают на то, что распределение имеет высокий перекос и что нужно быть очень осторожным в использовании инструментов или интуиции, предполагающих нормальное распределение. Частой причиной выбросов является смесь двух распределений, которые могут быть двумя разными подгруппами или могут указывать на «правильное испытание» или «ошибку измерения»; это моделируется модель смеси.

В большинстве больших выборок данных некоторые точки данных будут дальше от выборочное среднее чем то, что считается разумным. Это может быть из-за случайного систематическая ошибка или недостатки в теория что породило предполагаемую семью распределения вероятностей, или может быть так, что некоторые наблюдения далеки от центра данных. Таким образом, выбросы могут указывать на ошибочные данные, ошибочные процедуры или области, где определенная теория может быть неверной. Однако в больших выборках следует ожидать небольшого количества выбросов (и не из-за каких-либо аномальных условий).

Выбросы, будучи самыми крайними наблюдениями, могут включать максимум выборки или образец минимум или и то, и другое, в зависимости от того, очень они высокие или низкие. Однако максимум и минимум выборки не всегда являются выбросами, потому что они не могут быть необычно далекими от других наблюдений.

Наивная интерпретация статистики, полученной из наборов данных, которые включают выбросы, может вводить в заблуждение. Например, если кто-то вычисляет средний температура 10 предметов в комнате, девять из них от 20 до 25 градусов Цельсия, но в духовке 175 ° C, медиана данных будет от 20 до 25 ° C, но средняя температура будет от 35,5 до 40 ° C. В этом случае медиана лучше отражает температуру объекта, отобранного случайным образом (но не температуру в комнате), чем среднее значение; наивная интерпретация среднего как «типичный образец», эквивалент медианы, неверна. Как показано в этом случае, выбросы могут указывать на точки данных, принадлежащие разным Население чем остальные образец набор.

Оценщики способные справляться с выбросами, считаются надежными: медиана - это надежная статистика Главная тенденция, а среднее - нет.[4] Однако среднее значение обычно является более точной оценкой.[5]

Возникновение и причины

Относительные вероятности в нормальном распределении

На случай, если нормально распределенный данные, правило трех сигм означает, что примерно 1 из 22 наблюдений будет отличаться в два раза больше среднеквадратичное отклонение или более от среднего, и 1 из 370 будет отклоняться в три раза от стандартного отклонения.[6] В выборке из 1000 наблюдений наличие до пяти наблюдений, отклоняющихся от среднего значения более чем на три стандартных отклонения, находится в пределах ожидаемого диапазона, меньше чем в два раза ожидаемого числа и, следовательно, в пределах одного стандартного отклонения от ожидаемое число - см. распределение Пуассона - и не указывает на аномалию. Однако, если размер выборки составляет всего 100, только три таких выброса уже вызывают беспокойство, что более чем в 11 раз превышает ожидаемое число.

В общем, если известен характер распределения населения априори, можно проверить, отклоняется ли количество выбросов значительно от того, что можно ожидать: для данного отсечения (так что выборки выходят за пределы отсечения с вероятностью п) данного распределения, количество выбросов будет следовать биномиальное распределение с параметром п, который обычно хорошо аппроксимируется распределение Пуассона с λ = пн. Таким образом, если взять нормальное распределение с отсечкой 3 стандартных отклонения от среднего, п составляет примерно 0,3%, и, таким образом, для 1000 испытаний можно приблизить количество выборок, отклонение которых превышает 3 сигма, распределением Пуассона с λ = 3.

Причины

Выбросы могут иметь множество аномальных причин. Физическое устройство для проведения измерений могло иметь временную неисправность. Возможно, произошла ошибка при передаче или транскрипции данных. Выбросы возникают из-за изменений в поведении системы, мошенничества, ошибки человека, ошибки прибора или просто из-за естественных отклонений в популяциях. Образец мог быть загрязнен элементами, не относящимися к исследуемой популяции. В качестве альтернативы, выброс может быть результатом ошибки в предполагаемой теории, требующей дальнейшего исследования исследователем. Кроме того, патологическое появление выбросов определенной формы появляется в различных наборах данных, указывая на то, что причинный механизм для данных может отличаться в крайнем случае (Эффект короля ).

Определения и обнаружение

Не существует строгого математического определения того, что является выбросом; Определение того, является ли наблюдение выбросом, в конечном итоге является субъективным делом.[7] Существуют различные методы обнаружения выбросов.[8][9][10][11] Некоторые из них графические, например графики нормальной вероятности. Другие основаны на моделях. Коробчатые диаграммы являются гибридом.

Методы, основанные на моделях, которые обычно используются для идентификации, предполагают, что данные взяты из нормального распределения, и идентифицируют наблюдения, которые считаются «маловероятными» на основе среднего значения и стандартного отклонения:

Критерий Пирса

Основная статья: Критерий Пирса

Предлагается определять в серии наблюдения - предел погрешности, за которым все наблюдения, содержащие такую ​​большую ошибку, могут быть отклонены, при условии, что их столько, сколько такие наблюдения. Принцип, на основе которого предлагается решить эту проблему, состоит в том, что предлагаемые наблюдения должны быть отклонены, когда вероятность системы ошибок, полученная путем их сохранения, меньше, чем вероятность системы ошибок, полученная путем их отклонения, умноженная на вероятность делать так много и не более аномальных наблюдений. (Цитата в редакционной заметке на странице 516 Пирсу (издание 1982 г.) из Руководство по астрономии 2: 558 по Шовене.)[12][13][14][15]

Заборы Тьюки

Другие методы отмечают наблюдения, основанные на таких показателях, как межквартильный размах. Например, если и нижний и верхний квартили соответственно, тогда можно определить выброс как любое наблюдение за пределами диапазона:

для некоторой неотрицательной постоянной Джон Тьюки предложил этот тест, где указывает на "выброс", а указывает данные, которые находятся "далеко".[16]

При обнаружении аномалий

Основная статья: Обнаружение аномалий

В различных областях, таких как, но не ограничиваясь этим, статистика, обработка сигнала, финансы, эконометрика, производство, сеть и сбор данных, задача обнаружение аномалии могут использовать другие подходы. Некоторые из них могут зависеть от расстояния[17][18] и на основе плотности, например Фактор местного выброса (LOF).[19] Некоторые подходы могут использовать расстояние до k-ближайшие соседи пометить наблюдения как выбросы или не выбросы.[20]

Модифицированный тест Томпсона Тау

Модифицированный тест Томпсона Тау[нужна цитата ] - это метод, используемый для определения наличия выброса в наборе данных. Сила этого метода заключается в том, что он учитывает стандартное отклонение набора данных, среднее значение и обеспечивает статистически определенную зону отклонения; тем самым предоставляя объективный метод определения того, является ли точка данных выбросом.[нужна цитата ][21]Как это работает: сначала определяется среднее значение набора данных. Затем определяется абсолютное отклонение между каждой точкой данных и средним значением. В-третьих, определяется область отклонения по формуле:

;

где критическое значение от студента т распространение с п-2 степени свободы, п - размер выборки, а s - стандартное отклонение выборки. Чтобы определить, является ли значение выбросом: Рассчитайте .Если δ > Область отклонения, точка данных является выбросом. δ ≤ Область отклонения, точка данных не является выбросом.

Модифицированный тест Томпсона Тау используется для обнаружения одного выброса за раз (наибольшее значение δ удаляется, если это выброс). Это означает, что если обнаруживается, что точка данных является выбросом, она удаляется из набора данных, и тест применяется снова с новым средним значением и областью отклонения. Этот процесс продолжается до тех пор, пока в наборе данных не останутся выбросы.

Некоторые работы также исследовали выбросы для номинальных (или категориальных) данных. В контексте набора примеров (или экземпляров) в наборе данных жесткость экземпляра измеряет вероятность того, что экземпляр будет неправильно классифицирован ( где у - присвоенная метка класса и Икс представляют значение входного атрибута для экземпляра в обучающем наборе т).[22] В идеале твердость экземпляра должна быть рассчитана путем суммирования по набору всех возможных гипотез. ЧАС:

Практически такая формулировка неосуществима, поскольку ЧАС потенциально бесконечен и расчетлив неизвестно для многих алгоритмов. Таким образом, твердость экземпляра может быть приблизительно определена с использованием разнообразного подмножества :

где гипотеза, вызванная алгоритмом обучения тренировался на тренировочном наборе т с гиперпараметрами . Жесткость экземпляра обеспечивает непрерывное значение для определения того, является ли экземпляр выбросом.

Работа с выбросами

Выбор того, как бороться с выбросом, должен зависеть от причины. Некоторые оценщики очень чувствительны к выбросам, особенно оценка ковариационных матриц.

Удержание

Даже когда модель нормального распределения подходит для анализируемых данных, выбросы ожидаются для больших размеров выборки и не должны автоматически отбрасываться, если это так. Приложение должно использовать алгоритм классификации, устойчивый к выбросам, для моделирования данных с естественными выбросами.

Исключение

Удаление резко отклоняющихся данных - спорная практика, которую не одобряют многие ученые и преподаватели; Хотя математические критерии обеспечивают объективный и количественный метод отклонения данных, они не делают практику более обоснованной с научной или методологической точки зрения, особенно в небольших наборах или в тех случаях, когда нельзя предположить нормальное распределение. Отклонение выбросов более приемлемо в тех областях практики, где достоверно известны лежащая в основе модель измеряемого процесса и обычное распределение ошибок измерения. Выбросы, возникающие из-за ошибки показаний прибора, можно исключить, но желательно, чтобы показания были по крайней мере проверены.

Два общих подхода к исключению выбросов: усечение (или обрезка) и Winsorising. Обрезка отбрасывает выбросы, тогда как Winsorising заменяет выбросы ближайшими «неподозревающими» данными.[23] Исключение также может быть следствием процесса измерения, например, когда эксперимент не может полностью измерить такие экстремальные значения, что приводит к подвергнутый цензуре данные.[24]

В регресс проблем, альтернативный подход может заключаться в исключении только тех точек, которые демонстрируют большую степень влияния на оценочные коэффициенты, с использованием такой меры, как Расстояние повара.[25]

Если точка данных (или точки) исключена из анализ данных, это должно быть четко указано в любом последующем отчете.

Ненормальные распределения

Следует учитывать возможность того, что основное распределение данных не является приблизительно нормальным, поскольку "толстые хвосты ". Например, при выборке из Распределение Коши,[26] дисперсия выборки увеличивается с увеличением размера выборки, среднее значение выборки не может сходиться по мере увеличения размера выборки, и выбросы ожидаются с гораздо большей скоростью, чем для нормального распределения. Даже небольшая разница в толщине хвостов может иметь большое значение в ожидаемом количестве экстремальных значений.

Неопределенности членства в множестве

А установить подход к членству считает, что неопределенность, соответствующая яое измерение неизвестного случайного вектора Икс представлен набором Икся (вместо функции плотности вероятности). Если нет выбросов, Икс должен принадлежать пересечению всех Иксяс. Когда возникают выбросы, это пересечение может быть пустым, и мы должны ослабить небольшое количество множеств. Икся (как можно меньше), чтобы избежать противоречий.[27] Это можно сделать, используя понятие q-расслабленное пересечение. Как показано на рисунке, q-релаксированному пересечению соответствует множество всех Икс которые принадлежат всем множествам кроме q их. Наборы Икся которые не пересекают q-ослабленное пересечение можно заподозрить в выбросах.

Рисунок 5. q-расслабленное пересечение 6 сетов для q= 2 (красный), q= 3 (зеленый), q= 4 (синий), q= 5 (желтый).

Альтернативные модели

В случаях, когда причина выбросов известна, можно включить этот эффект в структуру модели, например, с помощью иерархическая байесовская модель, или модель смеси.[28][29]

Смотрите также

использованная литература

  1. ^ Граббс, Ф. Э. (февраль 1969 г.). «Порядок обнаружения в выборках выбросов». Технометрика. 11 (1): 1–21. Дои:10.1080/00401706.1969.10490657. Необычное наблюдение, или «выброс», - это наблюдение, которое заметно отличается от других членов выборки, в которой оно происходит.
  2. ^ Маддала, Г.С. (1992). "Выбросы". Введение в эконометрику (2-е изд.). Нью-Йорк: Макмиллан. стр.89. ISBN  978-0-02-374545-4. Выброс - это наблюдение, которое далеко от остальных наблюдений.
  3. ^ Граббс 1969, п. 1, где говорится: «Особое наблюдение может быть просто крайним проявлением случайной изменчивости, присущей данным. ... С другой стороны, выпадающее наблюдение может быть результатом грубого отклонения от предписанной экспериментальной процедуры или ошибки в расчетах или регистрации. числовое значение ".
  4. ^ Рипли, Брайан Д. 2004. Надежная статистика В архиве 2012-10-21 на Wayback Machine
  5. ^ Чандан Мукерджи, Ховард Уайт, Марк Вуйтс, 1998, "Эконометрика и анализ данных для развивающихся стран, том 1" [1]
  6. ^ Руан, Да; Чен, Гоцин; Керр, Этьен (2005). Уэтс, Г. (ред.). Интеллектуальный анализ данных: методы и приложения. Исследования в области вычислительного интеллекта Vol. 5. Спрингер. п.318. ISBN  978-3-540-26256-5.
  7. ^ Зимек, Артур; Фильцмозер, Питер (2018). «Туда и обратно: обнаружение выбросов между алгоритмами статистического анализа и интеллектуального анализа данных» (PDF). Междисциплинарные обзоры Wiley: интеллектуальный анализ данных и открытие знаний. 8 (6): e1280. Дои:10.1002 / widm.1280. ISSN  1942-4787.
  8. ^ Rousseeuw, P; Лерой, А. (1996), Надежная регрессия и обнаружение выбросов (3-е изд.), John Wiley & Sons
  9. ^ Ходж, Виктория Дж .; Остин, Джим (2004 г.), «Обзор методологий обнаружения выбросов», Обзор искусственного интеллекта, 22 (2): 85–126, CiteSeerX  10.1.1.109.1943, Дои:10.1023 / B: AIRE.0000045502.10941.a9, S2CID  3330313
  10. ^ Барнетт, Вик; Льюис, Тоби (1994) [1978], Выбросы в статистических данных (3-е изд.), Wiley, ISBN  978-0-471-93094-5
  11. ^ а б Зимек, А .; Schubert, E .; Кригель, Х.-П. (2012). «Обзор неконтролируемого обнаружения выбросов в многомерных числовых данных». Статистический анализ и интеллектуальный анализ данных. 5 (5): 363–387. Дои:10.1002 / sam.11161.
  12. ^ Бенджамин Пирс, «Критерий отклонения сомнительных наблюдений», Астрономический журнал II 45 (1852 г.) и Исправление к исходной бумаге.
  13. ^ Пирс, Бенджамин (Май 1877 - май 1878). «По критерию Пирса». Труды Американской академии искусств и наук. 13: 348–351. Дои:10.2307/25138498. JSTOR  25138498.
  14. ^ Пирс, Чарльз Сандерс (1873 г.) [1870 г.]. «Приложение №21. К теории ошибок наблюдения». Отчет суперинтенданта береговой службы Соединенных Штатов, показывающий ход исследования в течение 1870 года: 200–224.. NOAA PDF Eprint (см. Отчет на стр. 200, PDF-файлы на стр. 215).
  15. ^ Пирс, Чарльз Сандерс (1986) [1982]. «К теории ошибок наблюдения». In Kloesel, Christian J. W .; и другие. (ред.). Произведения Чарльза С. Пирса: хронологическое издание. Том 3, 1872–1878 гг. Блумингтон, Индиана: Издательство Индианского университета. стр.140–160. ISBN  978-0-253-37201-7. - Приложение 21, согласно редакции на странице 515
  16. ^ Тьюки, Джон В. (1977). Исследовательский анализ данных. Эддисон-Уэсли. ISBN  978-0-201-07616-5. OCLC  3058187.
  17. ^ Knorr, E.M .; Ng, R.T .; Тукаков, В. (2000). «Выбросы на основе расстояния: алгоритмы и приложения». The VLDB Journal Международный журнал по очень большим базам данных. 8 (3–4): 237. CiteSeerX  10.1.1.43.1842. Дои:10.1007 / s007780050006. S2CID  11707259.
  18. ^ Ramaswamy, S .; Растоги, Р .; Шим, К. (2000). Эффективные алгоритмы извлечения выбросов из больших наборов данных. Материалы международной конференции ACM SIGMOD 2000 года по управлению данными - SIGMOD '00. п. 427. Дои:10.1145/342009.335437. ISBN  1581132174.
  19. ^ Breunig, M. M .; Кригель, Х.-П.; Ng, R.T .; Сандер, Дж. (2000). LOF: определение локальных выбросов на основе плотности (PDF). Материалы Международной конференции ACM SIGMOD 2000 года по управлению данными. SIGMOD. С. 93–104. Дои:10.1145/335191.335388. ISBN  1-58113-217-4.
  20. ^ Schubert, E .; Зимек, А .; Кригель, Х. -П. (2012). «Обнаружение локальных выбросов пересмотрено: обобщенное представление о местности с приложениями для пространственного, видео и сетевого обнаружения выбросов». Интеллектуальный анализ данных и обнаружение знаний. 28: 190–237. Дои:10.1007 / s10618-012-0300-z. S2CID  19036098.
  21. ^ Томпсон .R. (1985). "Примечание об ограниченной оценке максимального правдоподобия с помощью альтернативной модели выбросов ".Журнал Королевского статистического общества. Серия B (методологическая), том 47, № 1, стр. 53-55.
  22. ^ Smith, M.R .; Мартинес, Т .; Жиро-Кэрриер, К. (2014). "Анализ сложности данных на уровне экземпляра ". Машинное обучение, 95 (2): 225-256.
  23. ^ Уайк, Эдвард Л. (2006). Анализ данных: статистический учебник для студентов-психологов. С. 24–25. ISBN  9780202365350.
  24. ^ Диксон, У. Дж. (Июнь 1960 г.). «Упрощенная оценка по цензурированным нормальным выборкам». Анналы математической статистики. 31 (2): 385–391. Дои:10.1214 / aoms / 1177705900.
  25. ^ Кук, Р. Деннис (февраль 1977 г.). «Обнаружение влиятельных наблюдений в линейной регрессии». Технометрика (Американская статистическая ассоциация) 19 (1): 15–18.
  26. ^ Вайсштейн, Эрик В. Распределение Коши. Из MathWorld - веб-ресурса Wolfram
  27. ^ Жаулин, Л. (2010). «Вероятностный подход к набору членства для надежной регрессии» (PDF). Журнал статистической теории и практики. 4: 155–167. Дои:10.1080/15598608.2010.10411978. S2CID  16500768.
  28. ^ Робертс, С. и Тарассенко, Л .: 1995, Сеть распределения вероятностных ресурсов для обнаружения новинок. Нейронные вычисления 6, 270–284.
  29. ^ Бишоп, К. М. (август 1994 г.). «Обнаружение новинок и проверка нейронной сети». IEE Proceedings - Vision, Image and Signal Processing. 141 (4): 217–222. Дои:10.1049 / IP-Vis: 19941330.

внешние ссылки