Большой O в вероятностной записи - Big O in probability notation
В порядок вероятности обозначение используется в теория вероятности и статистическая теория прямо параллельно нотация big-O это стандарт в математика. Где нотация big-O имеет дело с сходимостью последовательностей или наборов обычных чисел, порядок в обозначении вероятности имеет дело с сходимость наборов случайных величин, где сходимость в смысле сходимость по вероятности.[1]
Определения
Малый О: сходимость по вероятности
Для набора случайных величин Иксп и соответствующий набор констант ап (оба проиндексированы п, которые не обязательно должны быть дискретными) обозначение
означает, что набор значений Иксп/ап сходится к нулю по вероятности как п приближается к соответствующему пределу. Иксп = oп(ап) можно записать как Иксп/ап = oп(1), где Иксп = oп(1) определяется как,
для любого положительного ε.[2]
Big O: стохастическая ограниченность
Обозначение,
означает, что набор значений Иксп/ап стохастически ограничен. То есть для любого ε> 0 существуют конечное M> 0 и конечное N> 0 такие, что
Сравнение двух определений
Разница между определениями невелика. Если использовать определение предела, получится:
- Большой Oп(1):
- Маленький oп(1):
Разница заключается в величине δ: для стохастической ограниченности достаточно, чтобы существовало одно (произвольно большое) δ, удовлетворяющее неравенству, а δ может зависеть от ε (следовательно, δε). С другой стороны, для сходимости утверждение должно выполняться не только для одного, но и для любого (произвольного малого) δ. В некотором смысле это означает, что последовательность должна быть ограниченной, причем граница становится меньше по мере увеличения размера выборки.
Это говорит о том, что если последовательность oп(1), то это Oп(1), т.е. сходимость по вероятности влечет за собой стохастическую ограниченность. Но обратное не работает.
Пример
Если - стохастическая последовательность, каждый элемент которой имеет конечную дисперсию, то
(см. теорему 14.4-1 в Бишопе и др.)
Если к тому же это нулевая последовательность для последовательности действительных чисел, то сходится к нулю по вероятности Неравенство Чебышева, так
- .