Оценка максимального интервала - Maximum spacing estimation

Метод максимального интервала пытается найти такую ​​функцию распределения, чтобы интервалы, D_(я), все примерно одинаковой длины. Это достигается за счет максимального увеличения их среднее геометрическое.

В статистика, оценка максимального интервала (MSE или же MSP), или же максимальный продукт оценки расстояния (MPS), - метод оценки параметров одномерного статистическая модель.^[1] Метод требует максимизации среднее геометрическое из интервалы в данных, которые представляют собой различия между значениями кумулятивная функция распределения в соседних точках данных.

Концепция, лежащая в основе метода, основана на интегральное преобразование вероятности, в том, что набор независимых случайных выборок, полученных из любой случайной величины, должен в среднем быть равномерно распределен относительно кумулятивной функции распределения случайной величины. Метод MPS выбирает значения параметров, которые делают наблюдаемые данные как можно более однородными, в соответствии с определенной количественной мерой однородности.

Один из наиболее распространенных методов оценки параметров распределения по данным, метод максимальная вероятность (MLE) может давать сбой в различных случаях, например, при использовании определенных смесей непрерывных распределений.^[2] В этих случаях может оказаться успешным метод оценки максимального интервала.

Помимо использования в чистой математике и статистике, сообщалось о пробных применениях метода с использованием данных из таких областей, как гидрология,^[3] эконометрика,^[4] магнитно-резонансная томография,^[5] и другие.^[6]

История и использование

Метод MSE был разработан независимо Расселом Ченгом и Ником Амином в Институт науки и технологий Уэльского университета, и Бо Раннеби в Шведский университет сельскохозяйственных наук.^[2] Авторы пояснили, что из-за интегральное преобразование вероятности при истинном параметре «интервал» между каждым наблюдением должен быть равномерно распределен. Это означало бы, что разница между значениями кумулятивная функция распределения при последовательных наблюдениях должны быть равны. Это тот случай, который максимизирует среднее геометрическое таких расстояний, поэтому решение для параметров, которые максимизируют среднее геометрическое, приведет к «наилучшему» соответствию, как определено таким образом. Раннеби (1984) обосновали метод, продемонстрировав, что это оценка Дивергенция Кульбака – Лейблера, похожий на оценка максимального правдоподобия, но с более надежными свойствами для некоторых классов задач.

Существуют определенные распределения, особенно с тремя и более параметрами, у которых вероятность может стать бесконечным на определенных путях в пространство параметров. Использование максимального правдоподобия для оценки этих параметров часто приводит к сбоям, когда один параметр стремится к определенному значению, которое приводит к бесконечности вероятности, что делает другие параметры несовместимыми. Однако метод максимальных интервалов, зависящий от разницы между точками кумулятивной функции распределения, а не индивидуальных точек правдоподобия, не имеет этой проблемы и будет возвращать достоверные результаты по гораздо более широкому набору распределений.^[1]

Распределения, которые, как правило, имеют проблемы с вероятностью, часто используются для моделирования физических явлений. Холл и др. (2004) стремятся анализировать методы смягчения последствий наводнений, что требует точных моделей воздействия наводнений на реки. Распределения, которые лучше моделируют эти эффекты, представляют собой трехпараметрические модели, которые страдают от проблемы бесконечного правдоподобия, описанной выше, что привело к исследованию Холлом процедуры максимального разнесения. Вонг и Ли (2006), при сравнении метода с максимальной вероятностью используйте различные наборы данных, начиная от набора самых старых возрастов смерти в Швеции между 1905 и 1958 годами до набора, содержащего максимальные годовые скорости ветра.

Определение

Учитывая iid случайный пример {Икс₁, ..., Икс_п} размера п из одномерное распределение с непрерывной кумулятивной функцией распределения F(Икс;θ₀), куда θ₀ ∈ Θ - неизвестный параметр, который по оценкам, позволять {Икс₍₁₎, ..., Икс_(п)} быть соответствующим упорядоченный выборка, то есть результат сортировки всех наблюдений от наименьшего к наибольшему. Для удобства обозначим также Икс₍₀₎ = −∞ и Икс_(п+1) = +∞.

Определить интервалы как «промежутки» между значениями функции распределения в соседних упорядоченных точках:^[7]

${displaystyle D_ {i} (heta) = F (x _ {(i)} ;, heta) -F (x _ {(i-1)} ;, heta), quad i = 1, ldots, n + 1.}$

Тогда оценщик максимального интервала из θ₀ определяется как значение, которое максимизирует логарифм из среднее геометрическое интервалов между образцами:

${displaystyle {hat {heta}} = {underset {heta in theta} {operatorname {arg, max}}}; S_ {n} (heta), quad {ext {where}} S_ {n} (heta) = ln !! {sqrt [{n + 1}] {D_ {1} D_ {2} cdots D_ {n + 1}}} = {frac {1} {n + 1}} sum _ {i = 1} ^ { n + 1} ln {D_ {i}} (heta).}$

Посредством неравенство средних арифметических и геометрических, функция S_п(θ) ограничена сверху величиной −ln (п+1), поэтому максимум должен существовать хотя бы в супремум смысл.

Обратите внимание, что некоторые авторы определяют функцию S_п(θ) несколько иначе. Особенно, Раннеби (1984) умножает каждый D_я в раз (п+1), тогда как Ченг и Стивенс (1989) опустить¹⁄_п+1 поставьте множитель перед суммой и добавьте знак «-», чтобы превратить максимизацию в минимизацию. Поскольку это константы относительно θ, модификации не изменяют положение максимума функции S_п.

Примеры

В этом разделе представлены два примера расчета оценки максимального интервала.

Пример 1

Сюжеты бревно значение λ для упрощенного примера при оценке правдоподобия и интервала. Идентифицируются значения, для которых максимизированы как вероятность, так и интервал, оценки максимального правдоподобия и максимального интервала.

Предположим два значения Икс₍₁₎ = 2, Икс₍₂₎ = 4 были взяты из экспоненциальное распределение F(Икс;λ) = 1 - e^−xλ, Икс ≥ 0 с неизвестным параметром λ > 0. Чтобы построить MSE, мы должны сначала найти интервалы:

Процесс продолжается поиском λ что максимизирует среднее геометрическое значение столбца «разница». Используя соглашение, которое игнорирует принятие (п+1) корень, это превращается в максимизацию следующего произведения: (1 - e^−2λ) · (E^−2λ - е^−4λ) · (E^−4λ). Сдача μ = e^−2λ, проблема сводится к нахождению максимума μ⁵−2μ⁴+μ³. Дифференцируя, μ должен удовлетворить 5μ⁴−8μ³+3μ² = 0. Это уравнение имеет корни 0, 0,6 и 1. Поскольку μ на самом деле е^−2λ, он должен быть больше нуля, но меньше единицы. Поэтому единственное приемлемое решение -

${displaystyle mu = 0.6quad Rightarrow quad lambda _ {ext {MSE}} = {frac {ln 0.6} {- 2}} приблизительно 0,255,}$

что соответствует экспоненциальному распределению со средним значением¹⁄_λ ≈ 3,915. Для сравнения: оценка максимального правдоподобия λ является обратной величиной выборочного среднего, 3, поэтому λ_MLE = ⅓ ≈ 0.333.

Пример 2

Предполагать {Икс₍₁₎, ..., Икс_(п)} - это заказанный образец из равномерное распределение U(а,б) с неизвестными конечными точками а и б. Кумулятивная функция распределения: F(Икс;а,б) = (Икс−а)/(б−а) когда Икс∈[а,б]. Следовательно, индивидуальные интервалы задаются

${displaystyle D_ {1} = {frac {x _ {(1)} - a} {ba}}, D_ {i} = {frac {x _ {(i)} - x _ {(i-1)}} {ba }} {ext {for}} i = 2, ldots, n, D_ {n + 1} = {frac {b-x _ {(n)}} {ba}}}$

Вычисление среднего геометрического, а затем логарифм, статистика S_п будет равно

${displaystyle S_ {n} (a, b) = {frac {1} {n + 1}} ln (x _ {(1)} - a) + sum _ {i = 2} ^ {n} ln (x_ { (i)} - x _ {(i-1)}) + {frac {1} {n + 1}} ln (b-x _ {(n)}) - ln (ba)}$

Здесь только три члена зависят от параметров а и б. Дифференцируя по этим параметрам и решая полученную линейную систему, максимальные оценки интервалов будут

${displaystyle {hat {a}} = {frac {nx _ {(1)} - x _ {(n)}} {n-1}}, {hat {b}} = {frac {nx _ {(n)} - x _ {(1)}} {n-1}}.}$

Это, как известно, равномерно минимальная дисперсия несмещенная (UMVU) оценки для непрерывного равномерного распределения.^[1] Для сравнения, оценки максимального правдоподобия для этой проблемы ${displaystyle scriptstyle {hat {a}} = x _ {(1)}}$ и ${displaystyle scriptstyle {hat {b}} = x _ {(n)}}$ предвзяты и имеют более высокие среднеквадратичная ошибка.

Характеристики

Последовательность и эффективность

Плотность

Распределение

График J-образной функции плотности и соответствующего ей распределения. А сдвинутый Вейбулл с параметр масштаба из 15, а параметр формы 0,5, а параметр местоположения of 10. Плотность асимптотически стремится к бесконечности при Икс приближается к 10, делая оценки других параметров несовместимыми. Обратите внимание, что нет точка перегиба в графике распределения.

Оценка максимального интервала - это согласованная оценка в этом сходится по вероятности к истинному значению параметра, θ₀, при увеличении размера выборки до бесконечности.^[2] Непротиворечивость оценки максимального интервала сохраняется при гораздо более общих условиях, чем для максимальная вероятность оценщики. В частности, в случаях, когда базовое распределение имеет J-образную форму, максимальная вероятность не удастся, если MSE успешно.^[1] Примером J-образной плотности является Распределение Вейбулла, в частности сдвинутый Вейбулл, с параметр формы меньше 1. Плотность будет стремиться к бесконечности при Икс приближается к параметр местоположения делает оценки других параметров несовместимыми.

Оценки максимального интервала также не ниже асимптотически эффективный в качестве оценок максимального правдоподобия, если таковые существуют. Однако MSE могут существовать в случаях, когда MLE отсутствуют.^[1]

Чувствительность

Оценщики максимального разнесения чувствительны к близко разнесенным наблюдениям, и особенно к привязкам.^[8] Данный

${displaystyle X_ {i + k} = X_ {i + k-1} = cdots = X_ {i} ,,}$

мы получили

${displaystyle D_ {i + k} (heta) = D_ {i + k-1} (heta) = cdots = D_ {i + 1} (heta) = 0.,}$

Когда связи происходят из-за нескольких наблюдений, повторяющиеся интервалы (те, которые в противном случае были бы равны нулю) должны быть заменены соответствующей вероятностью.^[1] То есть следует заменить ${displaystyle f_ {i} (heta)}$ за ${displaystyle D_ {i} (heta)}$, в качестве

${displaystyle lim _ {x_ {i} o x_ {i-1}} {frac {int _ {x_ {i-1}} ^ {x_ {i}} f (t; heta), dt} {x_ {i } -x_ {i-1}}} = f (x_ {i-1}, heta) = f (x_ {i}, heta),}$

поскольку ${displaystyle x_ {i} = x_ {i-1}}$.

Если ничья связана с ошибкой округления, Ченг и Стивенс (1989) предложите другой способ устранения последствий.^{[примечание 1]}Данный р связанные наблюдения от Икс_я к Икс_я+р−1, позволять δ представляют ошибка округления. Тогда все истинные значения должны попадать в диапазон ${displaystyle xpm delta}$. Соответствующие точки распределения теперь должны находиться между ${displaystyle y_ {L} = F (x-delta, {hat {heta}})}$ и ${displaystyle y_ {U} = F (x + delta, {hat {heta}})}$. Ченг и Стивенс предлагают предположить, что округленные значения равны равномерно распределенный в этом интервале, определяя

${displaystyle D_ {j} = {frac {y_ {U} -y_ {L}} {r-1}} quad (j = i + 1, ldots, i + r-1).}$

Метод MSE также чувствителен к вторичной кластеризации.^[8] Одним из примеров этого явления является случай, когда считается, что набор наблюдений исходит от одного нормальное распределение, но на самом деле происходит от смесь нормали разными средствами. Второй пример - когда считается, что данные поступают из экспоненциальное распределение, но на самом деле происходит от гамма-распределение. В последнем случае в нижней части хвоста могут быть меньшие расстояния. Высокая стоимость M(θ) будет указывать на этот вторичный эффект кластеризации и предполагает необходимость более внимательного изучения данных.^[8]

Тест Морана

Статистика S_п(θ) также является формой Моран или статистика Морана-Дарлинга, M(θ), который можно использовать для тестирования степень соответствия.^{[заметка 2]}Было показано, что статистика, определяемая как

${displaystyle S_ {n} (heta) = M_ {n} (heta) = - sum _ {j = 1} ^ {n + 1} ln {D_ {j} (heta)},}$

является асимптотически нормальный, и что приближение хи-квадрат существует для небольших выборок.^[8] В случае, если мы знаем истинный параметр ${displaystyle heta ^ {0}}$, Ченг и Стивенс (1989) показать, что статистика ${displaystyle scriptstyle M_ {n} (heta)}$ имеет нормальное распределение с

${displaystyle {egin {align} mu _ {M} & приблизительно (n + 1) (ln (n + 1) + gamma) - {frac {1} {2}} - {frac {1} {12 (n + 1 )}}, sigma _ {M} ^ {2} & приблизительно (n + 1) влево ({frac {pi ^ {2}} {6}} - 1ight) - {frac {1} {2}} - { гидроразрыв {1} {6 (n + 1)}}, конец {выровнен}}}$

куда γ это Константа Эйлера – Маскерони что примерно равно 0,57722.^{[заметка 3]}

Распределение также можно аппроксимировать распределением ${displaystyle A}$, куда

${displaystyle A = C_ {1} + C_ {2} chi _ {n} ^ {2},}$,

в котором

${displaystyle {egin {align} C_ {1} & = mu _ {M} - {sqrt {frac {sigma _ {M} ^ {2} n} {2}}}, C_ {2} & = {sqrt {гидроразрыв {сигма _ {M} ^ {2}} {2n}}}, end {выровнен}}}$

и где ${displaystyle chi _ {n} ^ {2}}$ следует за распределение хи-квадрат с ${displaystyle n}$ степени свободы. Поэтому для проверки гипотезы ${displaystyle H_ {0}}$ что случайная выборка ${displaystyle n}$ значения поступают из распределения ${displaystyle F (x, heta)}$, статистика ${displaystyle T (heta) = {frac {M (heta) -C_ {1}} {C_ {2}}}}$ можно рассчитать. потом ${displaystyle H_ {0}}$ должен быть отклонен с значимость ${displaystyle alpha}$ если значение больше, чем критическое значение соответствующего распределения хи-квадрат.^[8]

Где θ₀ оценивается ${displaystyle {hat {heta}}}$, Ченг и Стивенс (1989) показало, что ${displaystyle S_ {n} ({hat {heta}}) = M_ {n} ({hat {heta}})}$ имеет те же асимптотическое среднее и дисперсию, что и в известном случае. Однако используемый тестовый статистический показатель требует добавления поправочного члена смещения и составляет:

${displaystyle T ({hat {heta}}) = {frac {M ({hat {heta}}) + {frac {k} {2}} - C_ {1}} {C_ {2}}},}$

куда ${displaystyle k}$ - количество параметров в оценке.

Обобщенный максимальный интервал

Альтернативные размеры и интервалы

Раннеби и Экстрём (1997) обобщил метод MSE для аппроксимации других меры помимо меры Кульбака – Лейблера. Экстрём (1997) далее расширил метод, чтобы исследовать свойства оценок с использованием интервалов более высокого порядка, где м- интервал порядка будет определен как ${displaystyle F (X_ {j + m}) - F (X_ {j})}$.

Многомерные распределения

Раннеби и др. (2005) обсудить расширенные методы максимального интервала для многомерный дело. Поскольку нет естественного порядка для ${displaystyle mathbb {R} ^ {k} (k> 1)}$, они обсуждают два альтернативных подхода: геометрический подход, основанный на Клетки Дирихле и вероятностный подход, основанный на метрике «мяч ближайшего соседа».

Смотрите также

• Дивергенция Кульбака – Лейблера
• Максимальная вероятность
• Распределение вероятностей

Примечания

Рекомендации

Цитаты

Процитированные работы