Теория вероятностей - Википедия - Probability theory

Часть серии по статистика
Теория вероятности
Аксиомы вероятности
Пространство вероятностей Образец пространства Элементарное событие Мероприятие Случайная переменная Вероятностная мера
Дополнительное мероприятие Совместная вероятность Предельная вероятность Условная возможность
Независимость Условная независимость Закон полной вероятности Закон больших чисел Теорема Байеса Неравенство Буля
Диаграмма Венна Древовидная диаграмма

Теория вероятности это филиал математика обеспокоен вероятность. Хотя есть несколько разных вероятностные интерпретации Теория вероятностей рассматривает это понятие строго математически, выражая его через набор аксиомы. Обычно эти аксиомы формализуют вероятность в терминах вероятностное пространство, который присваивает мера принимающие значения от 0 до 1, называемые вероятностная мера, к набору результатов, называемых пространство образца. Любое указанное подмножество этих результатов называется мероприятие. Центральные предметы теории вероятностей включают дискретные и непрерывные случайные переменные, распределения вероятностей, и случайные процессы, которые предоставляют математические абстракции недетерминированный или неопределенные процессы или измеренные количество они могут происходить либо единично, либо развиваться со временем случайным образом. Хотя невозможно полностью предсказать случайные события, можно многое сказать об их поведении. Два основных результата теории вероятностей, описывающих такое поведение: закон больших чисел и Центральная предельная теорема.

В качестве математической основы для статистика Теория вероятностей важна для многих видов человеческой деятельности, связанной с количественным анализом данных.^[1] Методы теории вероятностей также применимы к описанию сложных систем с учетом лишь частичного знания их состояния, как в статистическая механика. Великое открытие ХХ века физика была вероятностная природа физических явлений на атомных масштабах, описанных в квантовая механика.^[2]

История вероятности

Самые ранние известные формы вероятности и статистики были разработаны Арабские математики изучение криптография между 8 и 13 веками. Аль-Халиль (717–786) написал Книга криптографических сообщений который содержит первое использование перестановки и комбинации перечислить все возможные арабский слова с гласными и без них. Аль-Кинди (801–873) самое раннее известное использование статистические выводы в своей работе над криптоанализ и частотный анализ. Важный вклад Ибн Адлан (1187–1268) был на размер образца для использования частотного анализа.^[3]

Современная математическая теория вероятность уходит корнями в попытки проанализировать азартные игры к Джероламо Кардано в шестнадцатом веке, и Пьер де Ферма и Блез Паскаль в семнадцатом веке (например, "проблема очков "). Кристиан Гюйгенс опубликовал книгу на эту тему в 1657 г.^[4] а в 19 веке Пьер Лаплас завершено то, что сегодня считается классической интерпретацией.^[5]

Первоначально теория вероятностей в основном рассматривалась дискретный события, и его методы были в основном комбинаторный. В итоге, аналитический соображения вынудили включить непрерывный переменные в теорию.

Это привело к появлению современной теории вероятностей на основе, заложенной Андрей Николаевич Колмогоров. Колмогоров объединил понятие пространство образца, представлен Рихард фон Мизес, и теория меры и представил свой система аксиом теории вероятностей в 1933 году. Это стало в основном бесспорным аксиоматическая основа для современной теории вероятностей; но существуют альтернативы, такие как принятие конечной, а не счетной аддитивности Бруно де Финетти.^[6]

Уход

Во многих введениях в теорию вероятностей дискретные распределения вероятностей и непрерывные распределения вероятностей рассматриваются отдельно. Рассмотрение вероятности на основе теории меры охватывает дискретное, непрерывное, сочетание двух и многих других.

Мотивация

Рассмотрим эксперимент это может привести к ряду результатов. Набор всех исходов называется пространство образца эксперимента. В набор мощности пространства выборки (или, что эквивалентно, пространство событий) формируется путем рассмотрения всех различных наборов возможных результатов. Например, бросок честной кости дает один из шести возможных результатов. Один набор возможных результатов соответствует получению нечетного числа. Таким образом, подмножество {1,3,5} является элементом набора мощности пробного пространства фильерных валков. Эти коллекции называются События. В этом случае {1,3,5} означает, что кубик выпадает на нечетное число. Если результаты, которые действительно происходят, попадают в данное событие, говорят, что это событие произошло.

Вероятность - это способ присвоения каждому «событию» присваивается значение от нуля до единицы, с требованием, чтобы событию, состоящему из всех возможных результатов (в нашем примере, событию {1,2,3,4,5,6}) было присвоено значение единицы . Чтобы квалифицироваться как распределение вероятностей, присвоение значений должно удовлетворять требованию, что если вы посмотрите на коллекцию взаимоисключающих событий (события, которые не содержат общих результатов, например, события {1,6}, {3} и {2,4} все взаимоисключающие), вероятность того, что любое из этих событий произойдет, дается суммой вероятностей событий.^[7]

Вероятность того, что произойдет одно из событий {1,6}, {3} или {2,4}, составляет 5/6. Это то же самое, что сказать, что вероятность события {1,2,3,4,6} составляет 5/6. Это событие подразумевает возможность выпадения любого числа, кроме пяти. Взаимоисключающее событие {5} имеет вероятность 1/6, а событие {1,2,3,4,5,6} имеет вероятность 1, то есть абсолютную достоверность.

При проведении расчетов по результатам эксперимента необходимо, чтобы все эти элементарные события присвоить им номер. Это делается с помощью случайная переменная. Случайная величина - это функция, которая присваивает каждому элементарному событию в пространстве выборки настоящий номер. Эта функция обычно обозначается заглавной буквой.^[8] В случае игральной кости присвоение номера некоторым элементарным событиям может быть выполнено с помощью функция идентичности. Это не всегда работает. Например, когда подбрасывать монетку два возможных исхода - это «решка» и «решка». В этом примере случайная величина Икс можно было присвоить исходу "орлов" число "0" (${ Displaystyle X (головы) = 0}$) и в исходе «решки» цифра «1» (${ Displaystyle X (хвосты) = 1}$).

Дискретные распределения вероятностей

В распределение Пуассона, дискретное распределение вероятностей.

Дискретная теория вероятностей имеет дело с событиями, которые происходят в счетный образцы пространств.

Примеры: метание игральная кость, эксперименты с колоды карт, случайная прогулка, и бросая монеты

Классическое определение: Первоначально вероятность наступления события определялась как количество случаев, благоприятных для данного события, по отношению к количеству возможных исходов в равновероятном пространстве выборки: см. Классическое определение вероятности.

Например, если событием является «выпадение четного числа при броске кубика», вероятность определяется как ${ displaystyle { tfrac {3} {6}} = { tfrac {1} {2}}}$, поскольку 3 лица из 6 имеют четные числа, и каждое лицо имеет одинаковую вероятность появления.

Современное определение: Современное определение начинается с конечное или счетное множество называется пространство образца, который относится к множеству всех возможные результаты в классическом смысле обозначается ${ displaystyle Omega}$. Затем предполагается, что для каждого элемента ${ Displaystyle х в Omega ,}$, внутреннее значение "вероятности" ${ Displaystyle е (х) ,}$ прикреплен, который удовлетворяет следующим свойствам:

1. ${ Displaystyle е (х) в [0,1] { mbox {для всех}} х в Omega ,;}$
2. ${ Displaystyle сумма _ {х в Omega} е (х) = 1 ,.}$

То есть функция вероятности ж(Икс) лежит между нулем и единицей для каждого значения Икс в пространстве образца Ω, а сумма ж(Икс) по всем значениям Икс в пространстве образца Ω равно 1. An мероприятие определяется как любое подмножество ${ Displaystyle E ,}$ площади образца ${ displaystyle Omega ,}$. В вероятность события ${ Displaystyle E ,}$ определяется как

${ Displaystyle Р (Е) = сумма _ {х в Е} е (х) ,.}$

Таким образом, вероятность всего пространства выборки равна 1, а вероятность нулевого события равна 0.

Функция ${ Displaystyle е (х) ,}$ отображение точки в пространстве выборки на значение «вероятности» называется функция массы вероятности сокращенно pmf. Современное определение не пытается ответить, как получаются функции массы вероятности; вместо этого он строит теорию, которая предполагает их существование^{[нужна цитата ]}.

Непрерывные распределения вероятностей

В нормальное распределение, непрерывное распределение вероятностей.

Непрерывная теория вероятностей имеет дело с событиями, которые происходят в непрерывном пространстве выборки.

Классическое определение: Классическое определение не работает, когда мы сталкиваемся с непрерывным случаем. Видеть Парадокс Бертрана.

Современное определение: Если исходное пространство случайной величины Икс это набор действительные числа (${ Displaystyle mathbb {R}}$) или их подмножество, то функция, называемая кумулятивная функция распределения (или же cdf) ${ Displaystyle F ,}$ существует, определяется ${ Displaystyle F (x) = P (X Leq x) ,}$. То есть, F(Икс) возвращает вероятность того, что Икс будет меньше или равно Икс.

Cdf обязательно удовлетворяет следующим свойствам.

1. ${ Displaystyle F ,}$ это монотонно неубывающий, непрерывный вправо функция;
2. ${ displaystyle lim _ {x rightarrow - infty} F (x) = 0 ,;}$
3. ${ displaystyle lim _ {x rightarrow infty} F (x) = 1 ,.}$

Если ${ Displaystyle F ,}$ является абсолютно непрерывный, т.е. его производная существует, и интегрирование производной снова возвращает нам cdf, тогда случайная величина Икс говорят, что имеет функция плотности вероятности или же pdf или просто плотность ${ displaystyle f (x) = { frac {dF (x)} {dx}} ,.}$

Для набора ${ Displaystyle E substeq mathbb {R}}$, вероятность случайной величины Икс находясь в ${ Displaystyle E ,}$ является

${ Displaystyle P (X in E) = int _ {x in E} dF (x) ,.}$

Если функция плотности вероятности существует, ее можно записать как

${ Displaystyle P (X in E) = int _ {x in E} f (x) , dx ,.}$

В то время как pdf существует только для непрерывных случайных величин, cdf существует для всех случайных величин (включая дискретные случайные величины), которые принимают значения в ${ Displaystyle mathbb {R} ,.}$

Эти концепции можно обобщить на многомерный дела на ${ Displaystyle mathbb {R} ^ {п}}$ и другие сплошные пробелы.

Теоретико-мерная теория вероятностей

В смысл Теоретико-меры теории вероятностей состоит в том, что она объединяет дискретный и непрерывный случаи, а разница заключается в том, какая мера используется. Кроме того, он охватывает распределения, которые не являются ни дискретными, ни непрерывными, ни их смесями.

Примером таких распределений может быть сочетание дискретных и непрерывных распределений - например, случайная величина, которая равна 0 с вероятностью 1/2 и принимает случайное значение из нормального распределения с вероятностью 1/2. Его все еще можно изучить до некоторой степени, рассматривая его как PDF-файл ${ Displaystyle ( дельта [х] + varphi (х)) / 2}$, куда ${ Displaystyle дельта [х]}$ это Дельта-функция Дирака.

Другие дистрибутивы могут даже не быть смесью, например, Канторовское распределение не имеет ни положительной вероятности ни для одной точки, ни плотности. Современный подход к теории вероятностей решает эти проблемы, используя теория меры определить вероятностное пространство:

Учитывая любой набор ${ displaystyle Omega ,}$ (также называемый пространство образца) и σ-алгебра ${ Displaystyle { mathcal {F}} ,}$ на нем мера ${ Displaystyle P ,}$ определено на ${ Displaystyle { mathcal {F}} ,}$ называется вероятностная мера если ${ Displaystyle Р ( Омега) = 1. ,}$

Если ${ Displaystyle { mathcal {F}} ,}$ это Борелевская σ-алгебра на множестве действительных чисел, то существует единственная вероятностная мера на ${ Displaystyle { mathcal {F}} ,}$ для любого cdf, и наоборот. Мера, соответствующая cdf, называется индуцированный в формате cdf. Эта мера совпадает с pmf для дискретных переменных и pdf для непрерывных переменных, что делает теоретико-мерный подход свободным от ошибок.

В вероятность набора ${ Displaystyle E ,}$ в σ-алгебре ${ Displaystyle { mathcal {F}} ,}$ определяется как

${ Displaystyle P (E) = int _ { omega in E} mu _ {F} (d omega) ,}$

где интегрирование ведется по мере ${ displaystyle mu _ {F} ,}$ индуцированный ${ Displaystyle F ,.}$

Наряду с обеспечением лучшего понимания и унификации дискретных и непрерывных вероятностей, теоретико-мерный подход также позволяет нам работать с вероятностями вне ${ Displaystyle mathbb {R} ^ {п}}$, как в теории случайные процессы. Например, чтобы изучить Броуновское движение, вероятность определяется на пространстве функций.

Когда удобно работать с доминирующей мерой, Теорема Радона-Никодима используется для определения плотности как производной Радона-Никодима интересующего распределения вероятностей относительно этой доминирующей меры. Дискретные плотности обычно определяются как производная по счетная мера над множеством всех возможных исходов. Плотности для абсолютно непрерывный распределения обычно определяются как эта производная по Мера Лебега. Если теорема может быть доказана в этом общем случае, она верна как для дискретных, так и для непрерывных распределений, а также для других; для дискретных и непрерывных распределений отдельные доказательства не требуются.

Классические распределения вероятностей

Определенные случайные величины очень часто встречаются в теории вероятностей, поскольку они хорошо описывают многие естественные или физические процессы. Таким образом, их распространение получило особое значение в теории вероятностей. Некоторые фундаментальные дискретные распределения являются дискретная униформа, Бернулли, биномиальный, отрицательный бином, Пуассон и геометрические распределения. Важный непрерывные распределения включить сплошная униформа, нормальный, экспоненциальный, гамма и бета-версии.

Сходимость случайных величин

В теории вероятностей существует несколько понятий сходимости для случайные переменные. Они перечислены ниже в порядке силы, т.е. любое последующее понятие сходимости в списке подразумевает сходимость согласно всем предыдущим понятиям.

Слабая конвергенция

Последовательность случайных величин ${ Displaystyle X_ {1}, X_ {2}, точки, ,}$ сходится слабо к случайной величине ${ Displaystyle X ,}$ если их соответствующие совокупные функции распределения ${ Displaystyle F_ {1}, F_ {2}, точки ,}$ сходятся к кумулятивной функции распределения ${ Displaystyle F ,}$ из ${ Displaystyle X ,}$, где бы ${ Displaystyle F ,}$ является непрерывный. Слабую сходимость также называют конвергенция в распределении.

Наиболее распространенные сокращенные обозначения: ${ Displaystyle Displaystyle X_ {п} , { xrightarrow { mathcal {D}}} , X}$

Сходимость по вероятности

Последовательность случайных величин ${ Displaystyle X_ {1}, X_ {2}, точки ,}$ говорят, сходится к случайной величине ${ Displaystyle X ,}$ по вероятности если ${ displaystyle lim _ {n rightarrow infty} P left ( left | X_ {n} -X right | geq varepsilon right) = 0}$ для любого ε> 0.

Наиболее распространенные сокращенные обозначения: ${ Displaystyle Displaystyle X_ {п} , { xrightarrow {P}} , X}$

Сильная конвергенция

Последовательность случайных величин ${ Displaystyle X_ {1}, X_ {2}, точки ,}$ говорят, сходится к случайной величине ${ Displaystyle X ,}$ сильно если ${ Displaystyle P ( lim _ {п rightarrow infty} X_ {n} = X) = 1}$. Сильная конвергенция также известна как почти верная сходимость.

Наиболее распространенные сокращенные обозначения: ${ displaystyle displaystyle X_ {n} , { xrightarrow { mathrm {a.s.}}} , X}$

Как видно из названий, слабая сходимость слабее сильной. Фактически, сильная сходимость предполагает сходимость по вероятности, а сходимость по вероятности подразумевает слабую сходимость. Обратные утверждения не всегда верны.

Закон больших чисел

Обычная интуиция подсказывает, что если честная монета подбрасывается много раз, то грубо в половине случаев это появится головы, а другая половина появится хвосты. Кроме того, чем чаще подбрасывается монета, тем более вероятно, что соотношение количества головы к числу хвосты приблизится к единству. Современная теория вероятностей предоставляет формальную версию этой интуитивной идеи, известной как закон больших чисел. Этот закон примечателен тем, что он не предполагается в основах теории вероятностей, а вместо этого вытекает из этих основ в виде теоремы. Поскольку он связывает теоретически полученные вероятности с их фактической частотой появления в реальном мире, закон больших чисел считается столпом в истории статистической теории и имел широкое влияние.^[9]

В закон больших чисел (LLN) утверждает, что среднее значение выборки

${ displaystyle { overline {X}} _ {n} = { frac {1} {n}} { sum _ {k = 1} ^ {n} X_ {k}}}$

последовательности независимых и одинаково распределенных случайных величин ${ displaystyle X_ {k}}$ сходится к их общему ожиданию ${ displaystyle mu}$при условии, что ожидание ${ displaystyle | X_ {k} |}$ конечно.

Это в разных формах сходимость случайных величин что разделяет слабый и сильный закон больших чисел

Слабый закон: ${ displaystyle displaystyle { overline {X}} _ {n} , { xrightarrow {P}} , mu}$ за ${ displaystyle n to infty}$

Сильный закон: ${ displaystyle displaystyle { overline {X}} _ {n} , { xrightarrow { mathrm {a. , s.}}} , mu}$ за ${ displaystyle n to infty.}$

Из LLN следует, что если событие вероятности п наблюдается повторно во время независимых экспериментов, отношение наблюдаемой частоты этого события к общему количеству повторений сходится к п.

Например, если ${ Displaystyle Y_ {1}, Y_ {2}, ... ,}$ независимы Случайные величины Бернулли принимая значения 1 с вероятностью п и 0 с вероятностью 1-п, тогда ${ displaystyle { textrm {E}} (Y_ {i}) = p}$ для всех я, так что ${ displaystyle { bar {Y}} _ {n}}$ сходится к п почти наверняка.

Центральная предельная теорема

«Центральная предельная теорема (ЦПТ) - один из величайших результатов математики». (Глава 18 в^[10]) Это объясняет повсеместное появление нормальное распределение в природе.

Теорема утверждает, что средний многих независимых и одинаково распределенных случайных величин с конечной дисперсией стремится к нормальному распределению независимо распределения, за которым следуют исходные случайные величины. Формально пусть ${ Displaystyle X_ {1}, X_ {2}, точки ,}$ быть независимыми случайными величинами с иметь в виду ${ displaystyle mu}$ и отклонение ${ Displaystyle sigma ^ {2}> 0. ,}$ Тогда последовательность случайных величин

${ displaystyle Z_ {n} = { frac { sum _ {i = 1} ^ {n} (X_ {i} - mu)} { sigma { sqrt {n}}}} ,}$

сходится по распределению к стандартный нормальный случайная переменная.

Для некоторых классов случайных величин классическая центральная предельная теорема работает довольно быстро (см. Теорема Берри – Эссеена ), например, распределения с конечным первым, вторым и третьим моментом от экспоненциальная семья; с другой стороны, для некоторых случайных величин тяжелый хвост и толстый хвост разновидности, он работает очень медленно или может не работать совсем: в таких случаях можно использовать Обобщенная центральная предельная теорема (GCLT).

Смотрите также

Примечания

Рекомендации

Эта статья включает в себя список общих Рекомендации, но он остается в основном непроверенным, потому что ему не хватает соответствующих встроенные цитаты. Пожалуйста, помогите улучшать эта статья введение более точные цитаты. (Сентябрь 2009 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

• Пьер Симон де Лаплас (1812). Аналитическая теория вероятностей.

Первый крупный трактат, сочетающий исчисление с теорией вероятностей, первоначально на французском языке: Аналитическая теория вероятностей.

• А. Колмогоров (1933). Grundbegriffe der Wahrscheinlichkeitsrechnung. Дои:10.1007/978-3-642-49888-6. ISBN  978-3-642-49888-6.

Английский перевод Натана Моррисона появился под заголовком Основы теории вероятностей (Челси, Нью-Йорк) в 1950 году, второе издание - в 1956 году.

• Патрик Биллингсли (1979). Вероятность и мера. Нью-Йорк, Торонто, Лондон: Джон Вили и сыновья.
• Олав Калленберг; Основы современной вероятности, 2-е изд. Серии Спрингера в статистике. (2002). 650 стр. ISBN  0-387-95313-2
• Хенк Таймс (2004). Понимание вероятности. Cambridge Univ. Нажмите.

Живое введение в теорию вероятностей для новичков.

• Олав Калленберг; Вероятностные симметрии и принципы инвариантности. Спрингер-Верлаг, Нью-Йорк (2005). 510 стр. ISBN  0-387-25115-4
• Gut, Аллан (2005). Вероятность: выпускной курс. Springer-Verlag. ISBN  0-387-22833-0.