Предельные теоремы
Предельные теоремы – общее название обширной группы теорем, составляющей одно из основных направлений исследований в теории вероятностей и несущей в себе большую часть ее практической значимости. Ниже рассматриваются только П.т., входящие в общий курс теории вероятостей: закон больших чисел (ЗБЧ), центральная предельная теорема (ЦПТ) и теорема Пуассона.
Исторически первой П.т. является ЗБЧ в форме Бернулли, который можно сформулировать следующим образом. Пусть E1, E2, ... – независимые испытания Бернулли, в каждом из которых вероятность успеха равна p. (В аксиоматической теории вероятностей испытанием Бернулли E = (D, ) называется любое разбиение множества элементарных исходов W вероятностного пространства (W, Ƒ, P) на два события D и = W\D, DÎ Ƒ, одно из которых (далее – D) называется успехом. Испытания Бернулли E1, E2, ... называются независимыми, если для любого набора чисел i1 < i2 < … < ik , справедливо равенство P() = P()´ ´P(), P(Di) называется вероятностью успеха в i-м испытании.) Пусть Sn – число успехов в испытаниях E1, ... En, и nn = Sn /n – относительная частота успехов в n испытаниях. ЗБЧ в форме Бернулли – утверждение о том, что при n ®¥
P(|nn – p |³ e) ® 0 (1)
для любого e > 0, что можно интерпретировать как утверждение о том, что в сериях, состоящих из большого числа испытаний Бернулли, частота успехов мало отличается от вероятности успеха в одном испытании (если проводится большое число серий испытаний Бернулли, то может оказаться, что в некоторых сериях частота успехов сильно отличается от вероятности успеха, но доля таких серий мала).
Это утверждение было обобщено С.Пуассоном на случай, когда вероятности
pi = P(Di) успехов могут зависеть от номера испытания: утверждение (1) остается справедливым, если p заменить на n = (p1 + … +pn)/n.
ЗБЧ в форме Бернулли и ЗБЧ в форме Пуассона можно записать в эквивалентном виде в терминах сумм случайных величин и их математических ожиданий, если ввести случайные величины Xi, i = 1, 2, … , Xi = 1, если i-е испытание закончилось успехом, и
Xi = 0 в противном случае. Эти случайные величины являются (взаимно) независимыми, число успехов Sn совпадает с суммой X1 + … + Xn и математические ожидания EXi совпа-дают с pi. С помощью этих случайных величин ЗБЧ в форме Пуассона можно записать в виде
(2)
при n ®¥ для любого e > 0.
Следующее обобщение ЗБЧ было получено П.Л. Чебышевым, который не только отказался от предположения о том, что независимые случайные величины могут принимать только два значения, но и получил оценку вероятности отклонения средних арифметических (X1+…+Xn)/n от средних арифметических их математических ожиданий. П.Л.Чебышев с помощью неравенства, носящего сейчас его имя, установил, что для любого положительного e и любого натурального n
(3)
где DXj – дисперсии случайных величин Xj. В частности, если дисперсии всех случайных величин X1, X2, … не превосходят одной и той же постоянной K, то
при n ® ¥ для любого e > 0. Это утверждение называется ЗБЧ в форме Чебышева. Для одинаково распределенных случайных величин условие DXj £ K, j = 1, 2, … , сводится к условию существования дисперсий.
Для различно распределенных случайных величин условие DXj £ K, j = 1, 2, …, может быть ослаблено, точнее, его можно заменить на условие E|Xj – EXj|1+a £C, где a и C – произвольные положительные постоянные (теорема Маркова). Эти условия, гарантирующие справедливость ЗБЧ для различно распределенных случайных величин X1, X2, …, связаны с существом дела и не могут быть отброшены, что показывает пример последовательности независимых случайных величин X1, X2, …, таких, что Xj принимает значения – 3j и 3j с вероятностями ½ каждое, j = 1, 2, ... . Для этих случайных величин математические ожидания равны нулю, суммы Sn = X1 + … + Xn принимают значения 3n ± 3n-1± … ± 3 (n ³ 3) c вероятностями 1/2n каждое, минимальное положительное значение Sn есть 3n – 3n-1 – 3 = (3n +3)/2 и максимальное отрицательное значение Sn есть – (3n+ 3)/2. Величины при всех n ³1 и для любого 0 < e < 3 величина P(|Sn /n| ³ e) = 1. Для этой последовательности X1, X2, … утверждение ЗБЧ не справедливо.
В случае одинаково распределенных случайных величин X1, X2, … условия на суще-ствование моментов порядка выше первого оказываются излишними. Справедлив ЗБЧ в форме Хинчина: если X1, X2, … - независимые одинаково распределенные случайные величины, у которых существует математическое ожидание EX1 = a, то для любого e > 0
(4)
при n ® ¥. Однако, если предполагать только существование первого момента случайных величин X1, X2, …, то содержательные верхние оценки указанной вероятности невозмож-ны: не существует функции m(b1, n), где b1 = E|X1| < ¥ такой, что m(b1, n) оценивает сверху левую часть (4) и m(b1, n) ® 0 при n ® ¥.
Условия, необходимые и достаточные для справедливости (4), состоят в том, что
x(F(-x) + 1- F(x))®0 и при x ® ¥,
где F - общая функция распределения случайных величин X1, X2, … .
Условие взаимной независимости случайных величин в ЗБЧ можно ослабить. Так, для справедливости ЗБЧ в форме Хинчина достаточно потребовать попарной независи-мости случайных величин X1, X2, … , утверждение (3) справедливо для попарно некорре-лированых случайных величин, для справедливости ЗБЧ в форме Чебышева достаточно потребовать, чтобы DXj £ K для всех j = 1, 2, … и r(Xi, Xj) £ d(|i – j|) для всех i, j, где r – коэффициент корреляции, а d(k) ® 0 при k®¥ (теорема Бернштейна).
Все указанные выше формы ЗБЧ можно записать в терминах сходимости по вероятности. (Говорят, что последовательность случайных величин X1, X2, … сходится по вероятности к случайной величине X, если P(|Xn – X| ³ e) ®0 для любого e > 0 при n ® ¥. Эта сходимость обозначается Xn X.) В случае одинаково распределенных случай-ных величин с конечным математическим ожиданием EX1 = a ЗБЧ можно записать в виде
(5)
это означает, что средние арифметические (X1+…+Xn)/n сходятся по вероятности к вырож-денной случайной величине X = X(w) = a, wÎW; для различно распределенных случайных величин ЗБЧ можно записать в виде
(6)
Помимо сходимости по вероятности на множестве случайных величин (заданных на некотором вероятностном пространстве (W, Ƒ, P)) рассматриваются и более сильные виды сходимости, например, сходимость почти наверное (с вероятностью 1). (Говорят, что последовательность случайных величин X1, X2, … сходится почти наверное к случайной величине X, если P(Xn ® X) = P({w: Xn(w)®X(w) , n ® ¥}) = 1. Эта сходимость обзначается
Xn X.) Утверждения (5) и (6), в которых сходимость по вероятности заменяется на сходимость почти наверное, называются усиленным ЗБЧ. Для справедливости усиленного ЗБЧ для последовательности X1, X2, … независимых случайных величин достаточно вы-полнения условия , которое сильнее условия при n ® ¥, дос-таточного для выполнения ЗБЧ (иногда говорят, слабого ЗБЧ), но и утверждение получа-ется существенно более сильным. Если ЗБЧ означает, что вероятность одного неравенства |Sn – ESn|/n ³ e, e > 0, стремится к нулю при росте n, то усиленный ЗБЧ означает, что веро-ятность выполнения всех неравенств |Sn – ESn|/n ³ e, |Sn+1 – ESn+1|/(n+1) ³ e, ..., e > 0 стремится к нулю при росте n. Для справедливости усиленного ЗБЧ в случае независимых и одинаково распределенных случайных величин X1, X2, … необходимо и достаточно су-ществования их математического ожидания (теорема Колмогорова).
ЗБЧ можно формулировать и в терминах функций распределения с использованием понятия слабой сходимости на множестве функций распределения. (Говорят, что последо-вательность функций распределения F1, F2, … слабо сходится к функции распределения F, если числовые последовательности Fn(x) сходятся к F(x) при n ® ¥ для любой точки x, в которой предельная функция F непрерывна. Эта сходимость обозначается Fn Þ F. В случае, когда последовательность функций распределения F1, F2, … и функция распреде-ления F таковы, что при n ® ¥ для любой непрерывной огра-ниченной функции f, также говорят о слабой сходимости. Эта сходимость обозначается . Сходимости Þ и эквивалентны.)
Для независимых одинаково распределенных случайных величин X1, X2, … c EX1 = a соотношение Sn/n a эквивалентно любому из соотношений Un Þ Ea или Un Ea, где Un – функции распределения случайных величин Sn/n, а Ea (вырожденная) функция распределения с единственной точкой роста a, в которой Ea скачком изменяется от нуля до единицы. Первое из них эквивалентно тому, что Un(x) ® 0 для x < a и Un (x) ® 1 для
x > a при n ® ¥. Второе эквивалентно тому, что Ef(Sn/n) ® f(a) при n®¥ для любой не-прерывной ограниченной функции f. Это означает, что функции распределения случай-ных величин Sn /n при росте n вырождаются (слабо сходятся к вырожденной функции распределения). Представление о том, как именно вырождаются функции распределения случайных величин Sn/n дает ЦПТ. Так, одним из следствий ЦПТ (см. ниже) является утверждение о том, что если X1, X2, … - независимые одинаково распределенные случай-ные величины, EX1 = a и DX1 = s2 > 0, то функции распределения Un(x) при n ® ¥ вырож-даются, равномерно по x сближаясь с нормальными функциями распределения со средним a и дисперсиями s2/n, которые также слабо сходятся к функции распределения Ea(x). (При этом функции распределения Vn(x) случайных величин na(Sn/n – a) при n ®¥ для 0 £a < ½ вырождаются, слабо сходясь к вырожденной функции распределения E0(x), для a > ½ при любом действительном x справедливо соотношение Vn(x)®½, то есть предельная функция не является функцией распределения, и для a = ½ имеет место сходимость Vn(x) ® F(x/s) равномерно по всем действительным x, где F - функция распределения стандартного нор-мального закона.
В теории вероятностей приходится часто рассматривать суммы независимых случай-ных величин. Распределения таких сумм являются свертками функций распределения сла-гаемых и в явном виде вычисляются лишь в исключительных случаях. Например, если X1, X2, … - независимые случайные величины с экспоненциальным распределением, плот-ность p(x) которого равна нулю при x < 0 и p(x) = le-lx при x ³ 0, где l > 0 – параметр, то функция распределения Gn(x) = P(X1 + … + Xn < x) суммы X1 + … + Xn равна нулю при x £ 0 и
Gn(x) = 1 - (7)
при x > 0, n = 1, 2, … . Это – один из немногих случаев, когда свертки вычисляются в явном виде и даже в нем формулы для Gn(x) при росте n усложняются и уже при n порядка нескольких десятков становятся непригодными для прямых расчетов.
Сказанное объясняет актуальность задач, связанных с поиском формул, которые да-ют приближенные значения функций распределения сумм многих случайных величин и поиском оценок точности аппроксимаций для таких формул. Такие формулы нельзя полу-чить, используя функции, предельные для функций распределения самих сумм независи-мых случайных величин, поскольку, например, для функций распределения Gn(x) из (7) Gn(x) ® 0 при n ® ¥ для любого действительного x. (При этом Gn(x) ® 1 при x ® ¥ для любого фиксированного n.) Аналогично обстоит дело для любой последовательности X1, X2, …невырожденных назависимых случайных величин с конечным вторым моментом: предельная функция для последовательности функций распределения Gn(x) = P(X1 + … Xn < x) сумм X1 + … + Xn существует, но она либо тождественно равна нулю (если EX1 > 0), либо тождественно равна ½ (если EX1 = 0), либо тождественно равна единице (если EX1 < 0). Такие аппроксимации в теории вероятностей бессодержательны. (Иногда говорят, что для EX1 > 0 распределения, порожденные суммами Sn = X1 + … + Xn, при n ® ¥ уходят на бесконечность, то есть P(Sn > T) ® 1 для любого сколь угодно большого T, не зависящего от n, и для EX1 < 0 уходят на - ¥ , то есть P(Sn < - T) ® 1 для любого сколь угодно боль-шого T. Во всех случаях распределения сумм Sn «растекаются» по действительной оси, то есть P(T1 < Sn < T2) ® 0 при n ®¥ для любых T1 < T2.)
Содержательные утверждения о распределениях сумм Sn можно получать, переходя к нормированным суммам (иногда говорят, к центрированным и нормиро-ванным суммам; и в ЦПТ и в ЗБЧ центрирование сумм Sn производится с помощью одних и тех же величин ESn, а нормирования различны). Случайные величины Sn* при всех n имеют нулевые средние и единичные дисперсии. Для функций распределения нормиро-ванных сумм справедлива ЦПТ, в одном из простейших вариантов утверждающая, что если X1, X2, … независимые одинаково распределенные случайные величины с EX1 = a и DX1 = s2 > 0, то при n ® ¥
Fn(x) = P(Sn* < x) = P((Sn- na)/(s) < x) ® F(x),
где F(x) – стандартная нормальная функция распределения, а сходимость равномерна по всем действительным x.
Отсюда, в частности, следует, что при n® ¥
Gn(x) = P(Sn < x) = F((x-na)/(s)) + o(1) и P(Sn/n - a < x) = F(x/s) + o(1),
где о(1) ® 0 равномерно по x.
Первый вариант ЦПТ был получен А.Муавром в 1733 г. и был связан с испытаниями Бернулли с одинаковыми вероятностями успехов. В 1812 г. результат А.Муавра был пере-открыт П.Лапласом. Достаточно общая формулировка ЦПТ появилась у П.Л.Чебышева, однако он не смог дать ее безупречное доказательство предложенным им методом момен-тов. Идеи П.Л.Чебышева были реализованы А.А. Марковым. А.М. Ляпунов в работах 1900 – 1901 гг. получил ЦПТ в достаточно общем виде. Точнее, А.М.Ляпунов доказал, что если случайные величины X1, X2, … независимы, их математические ожидания EXi = ai, диспер-сии DXi = s2i , для некоторого d > 0 существуют моменты b2+d(Xi) = E|Xi – EXi|2+d , i = 1, 2, … и
при n ® ¥, где Bn2 = s12 + … + sn2, то функции распределения Fn(x) = P(Sn* < x) нормиро-ванных сумм Sn* при n ® ¥ равномерно по x сходятся к функции распределения F(x) стандартного нормального закона.
Применения ЦПТ связаны с тем, что она дает возможность заменять сложные распределения сумм независимых случайных величин, явный вид которых нам обычно недоступен, нормальными распределениями, работа с которыми не представляет трудностей. Однако, такая замена всегда связана с некоторой ошибкой, и большое число работ посвящено оценкам точности аппроксимации в ЦПТ или, как иногда говорят, оценкам скорости сходимости в ЦПТ. Из результатов, полученных А.М.Ляпуновым следует, что равномерное расстояние sup{ | Fn(x) - F (x) | : - ¥ < x < ¥ } не превосходит c(d)en, если 0 < d < 1 и не превосходит сn|logen|, если d = 1. Эти результаты уточнялись и обобщались в различных направлениях.
Для независимых одинаково распределенных величин X1, X2, … ЦПТ является уточ-нением ЗБЧ (при этом условия на существование моментов этих случайных величин в ЦПТ сильнее, чем ЗБЧ); для различно распределенных величин соотношения между ЗБЧ и ЦПТ сложнее, в частности, существуют как последовательности случайных величин, для которых ЗБЧ справедлив, а ЦПТ нет, так и последовательности, для которых верно обратное.
Первые варианты ЗБЧ и ЦПТ появились при изучении биномиальных распределе-ний, то есть при изучении распределений сумм Sn = X1+ …+Xn независимых случайных величин, принимающих значения 0 и 1 с вероятностями q и p, q = 1 – p, 0 < p < 1. Вероятости P(Sn = k) равны Cnkpkqn-k, k = 0, 1, …, n. Эти вероятности или суммы таких вероятностей аппроксимировались при фиксированном p и при n ® ¥, то есть в ситуации, когда np ® ¥. Однако, в некоторых задачах приходится сталкиваться с ситуациями, когда n велико, p мало и при этом произведение np невелико. Для того, чтобы в этом случае кор-ректно поставить задачу об аппроксимации биномиальных распределений, приходится использовать схему серий. Схемой серий называется треугольный массив случайных величин
X11,
X21, X22,
….…
Xn1, Xn2, … Xnn,
…….
таких, что случайные величины в каждой серии (то есть в каждой строке) независимы.
Пусть схема серий такова, что для каждого натурального n случайные величины Xn1, Xn2, …, Xnn принимают значения 0 и 1 с вероятостями q = 1 – p и p, 0 < p <1, и пусть Sn = Xn1+…+Xnn. Тогда, если p = p(n) изменяется так, что pn ® l > 0 при n ® ¥ , то
P(Sn = k) ® (lk/k!)e -l , k = 0, 1, … .
Это утверждение называется теоремой Пуассона. Если события Xnk = 1, k = 1, ..., n, как успехи в n-й серии испытаний Бернулли, то теорема Пуассона дает аппроксимацию распределения вероятностей числа успехо, в ситуации, когда вероятность успеха мала, или, как говорят, успех является редким событием.
В.В. Сенатов
Выходные данные:
- Просмотров: 1253
- Комментариев: 0
- Опубликовано: 03.03.2011
- Версий: 3 , текущая: 3
- Статус: экспертная
- Рейтинг: 100.0
Автор:
Сенатов Владимир Васильевич
- профессор; доктор физико-математических наук
Ссылки отсюда
Персоны:
Бернулли Якоб; Ляпунов Александр Михайлович; Марков Андрей Андреевич; Сенатов Владимир Васильевич; Чебышев Пафнутий Львович;
Категории:Детализирующие понятия:Ссылки сюда
Категории:Детализирующие понятия: