Критерий Шовенец - Википедия - Chauvenets criterion

Эта статья нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью к добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален Найдите источники: «Критерий Шовене»  – Новости  · газеты  · книги  · ученый  · JSTOR (Июль 2013) (Узнайте, как и когда удалить этот шаблон сообщения)

В статистической теории Критерий Шовене (назван в честь Уильям Шовене^[1]) является средством оценки того, является ли одна часть экспериментальных данных выброс - из набора наблюдений, скорее всего, будет ложным.^{[нужна цитата ]}

Вывод

Идея критерия Шовене состоит в том, чтобы найти полосу вероятности, сосредоточенную на среднем значении нормальное распределение, который должен разумно содержать все n выборок набора данных. Таким образом, любые точки данных из n выборок, которые лежат за пределами этой полосы вероятности, можно рассматривать как выбросы, удалять из набора данных и рассчитывать новое среднее значение и стандартное отклонение на основе оставшихся значений и нового размера выборки. Эта идентификация выбросов будет достигнута путем определения количества стандартных отклонений, которые соответствуют границам диапазона вероятности вокруг среднего (${ displaystyle D _ { mathrm {max}}}$) и сравнение этого значения с абсолютным значением разницы между предполагаемыми выбросами и средним значением, деленным на стандартное отклонение выборки (уравнение 1).

${ displaystyle D _ { mathrm {max}} geq { frac {| x - { bar {x}} |} {s_ {x}}}}$

(1)

куда

• ${ displaystyle D _ { mathrm {max}}}$ - максимально допустимое отклонение,
• ${ displaystyle | cdot |}$ это абсолютное значение,
• ${ displaystyle x}$ значение предполагаемого выброса,
• ${ displaystyle { bar {x}}}$ выборочное среднее, и
• ${ displaystyle s_ {x}}$ стандартное отклонение выборки.

Чтобы считаться включающими все ${ displaystyle n}$ наблюдения в выборке, полоса вероятности (с центром на среднем) должна учитывать только ${ displaystyle n - { tfrac {1} {2}}}$ образцы (если ${ displaystyle n = 3}$ тогда только 2,5 выборки должны быть учтены в полосе вероятности). На самом деле у нас не может быть частичных образцов, поэтому ${ displaystyle n - { tfrac {1} {2}}}$ (2.5 для ${ displaystyle n = 3}$) приблизительно ${ displaystyle n}$. Все, что меньше ${ displaystyle n - { tfrac {1} {2}}}$ примерно ${ displaystyle n-1}$ (2, если ${ displaystyle n = 3}$) и недействителен, поскольку мы хотим найти полосу вероятности, которая содержит ${ displaystyle n}$ наблюдения, а не ${ displaystyle n-1}$ образцы. Короче ищем вероятность, ${ displaystyle P}$, что равно ${ displaystyle n - { tfrac {1} {2}}}$ снаружи ${ displaystyle n}$ образцы (уравнение 2).

${ displaystyle P = { frac {n - { tfrac {1} {2}}} {n}} = 1 - { tfrac {1} {2n}}}$

(2)

куда

• ${ displaystyle P}$ - полоса вероятности с центром на выборочном среднем и
• ${ displaystyle n}$ размер выборки.

Количество ${ displaystyle { tfrac {1} {2n}}}$ соответствует объединенной вероятности, представленной двумя хвостами нормального распределения, которые выходят за пределы диапазона вероятности ${ displaystyle P}$. Чтобы найти уровень стандартного отклонения, связанный с ${ displaystyle P}$необходимо анализировать только вероятность одного из хвостов нормального распределения из-за его симметрии (уравнение 3).

${ displaystyle P_ {z} = { frac {1} {4n}}}$

(3)

куда

• ${ Displaystyle P_ {z}}$ вероятность, представленная одним хвостом нормального распределения и
• ${ displaystyle n}$ = размер выборки.

Уравнение 1 аналогично уравнению ${ displaystyle Z}$-счетное уравнение (уравнение 4).

${ Displaystyle Z = { гидроразрыва {x- mu} { sigma}}}$

(4)

куда

• ${ displaystyle Z}$ это ${ displaystyle Z}$-счет,
• ${ displaystyle x}$ это примерное значение,
• ${ displaystyle mu = 0}$ - среднее значение стандартного нормального распределения, а
• ${ Displaystyle sigma = 1}$ - стандартное отклонение стандартного нормального распределения.

Основываясь на уравнении 4, чтобы найти ${ displaystyle D _ { mathrm {max}}}$ (Уравнение 1) найдите z-показатель, соответствующий ${ Displaystyle P_ {z}}$ в ${ displaystyle Z}$-таблица результатов. ${ displaystyle D _ { mathrm {max}}}$ равен баллу за ${ Displaystyle P_ {z}}$. Используя этот метод ${ displaystyle D _ { mathrm {max}}}$ можно определить для любого размера выборки. В Excel ${ displaystyle D _ { mathrm {max}}}$ можно найти по следующей формуле: = ABS (NORM.S.INV (1 / (4п))).

Расчет

Чтобы применить критерий Шовене, сначала рассчитайте иметь в виду и стандартное отклонение наблюдаемых данных. В зависимости от того, насколько подозрительные данные отличаются от среднего, используйте нормальное распределение функция (или ее таблица) для определения вероятность что данная точка данных будет соответствовать значению подозрительной точки данных. Умножьте эту вероятность на количество взятых точек данных. Если результат меньше 0,5, подозрительная точка данных может быть отброшена, то есть считывание может быть отклонено, если вероятность получения конкретного отклонения от среднего меньше, чем ${ displaystyle { tfrac {1} {2n}}}$.^{[нужна цитата ]}

Пример

Например, предположим, что в нескольких испытаниях экспериментально измеряется значение 9, 10, 10, 10, 11 и 50. Среднее значение составляет 16,7, а стандартное отклонение - 16,34. 50 отличается от 16,7 на 33,3, что немногим больше двух стандартных отклонений. Вероятность получения данных более чем на два стандартных отклонения от среднего составляет примерно 0,05. Было проведено шесть измерений, поэтому статистическое значение (размер данных, умноженное на вероятность) составляет 0,05 × 6 = 0,3. Поскольку 0,3 <0,5, согласно критерию Шовене, измеренное значение 50 следует отбросить (оставив новое среднее значение 10 со стандартным отклонением 0,7).^{[нужна цитата ]}

Критерий Пирса

Другой метод устранения ложных данных называется Критерий Пирса. Он был разработан за несколько лет до публикации критерия Шовене и представляет собой более строгий подход к рациональному удалению резко выделяющихся данных.^[2] Другие методы, такие как Тест Граббса на выбросы упомянуты в списке для Выброс.^{[нужна цитата ]}

Критика

Удаление резко отклоняющихся данных - спорная практика, которую осуждают многие ученые и преподаватели; хотя критерий Шовене обеспечивает объективный и количественный метод отклонения данных, он не делает эту практику более научно или методологически обоснованной, особенно в небольших группах или в тех случаях, когда нормальное распределение нельзя предположить. Отклонение выбросов более приемлемо в тех областях практики, где достоверно известны лежащая в основе модель измеряемого процесса и обычное распределение ошибок измерения.

Рекомендации

Библиография

• Тейлор, Джон Р. Введение в анализ ошибок. 2-е издание. Саусалито, Калифорния: Университетские научные книги, 1997. стр. 166–8.
• Барнетт, Вик и Льюис, Тоби. «Выбросы в статистических данных». 3-е издание. Чичестер: Дж. Вили и сыновья, 1994. ISBN  0-471-93094-6.
• Айча Зербет, Михаил Никулин. Новая статистика для обнаружения выбросов в экспоненциальном случае, Коммуникации в статистике: теория и методы, 2003, т.32, стр. 573–584.