Закон больших чисел и центральная предельная теорема

Практика изучения случайных явлений показывает, что хотя результаты отдельных наблюдений, даже проведенных в одинаковых условиях, могут сильно отличаться, в то же время средние результаты для достаточно большого числа наблюдений устойчивы и слабо зависят от результатов отдельных наблюдений.

Теоретическим обоснованием этого замечательного свойства случайных явлений является закон больших чисел. Названием "закон больших чисел" объединена группа теорем, устанавливающих устойчивость средних результатов большого количества случайных явлений и объясняющих причину этой устойчивости. Более того, оказывается, что при больших n сложно устроенные распределения становятся практически неотличимыми от стандартных, канонических в некотором смысле, распределений.

Часть теорем, которые входят в закон больших чисел, приводится иногда в разделе "Предельные распределения для биномиального закона".

Простейшая форма закона больших чисел, и исторически первая теорема этого раздела — теорема Бернулли, утверждает, что если вероятность события одинакова во всех испытаниях, то с увеличением числа испытаний частота события стремится к вероятности события и перестает быть случайной.

Теорема Бернулли. Пусть m_n — число успехов в n испытаниях Бернулли и p — вероятность успеха в отдельном испытании. Тогда при любом e > 0 справедливо .

Теорема Пуассона обобщает утверждение теоремы Бернулли для сери независимых испытаний с различными вероятностями успехов.

Теорема Пуассона. Производятся испытаний Бернулли с вероятностью успеха , , в каждом из них. Число успехов в -м испытаний — m_i, . Тогда при любом e > 0

Более общая формулировка утверждения теоремы Пуассона содержится в теореме под названием закон больших чисел.

Закон больших чисел. Если случайные величины x₁, x₂, …, x_n, … попарно независимы и ,то для любого e > 0

Теоремы Муавра-Лапласа (локальная и интегральная) утверждают, что при больших n и не очень обременительных ограничениях, биномиальное распределение практически неотличимо от нормального.

Локальная теорема Муавра—Лапласа. Пусть 0< p <1 и величина при n ® ¥ ограничена (Требование ограниченности величины x_k означает, что при n®¥ величина k тоже должна расти вместе с величиной n). Тогда .

На практике приближением Муавра-Лапласа пользуются при npq > 9.
Точность формулы растет, как с ростом величин n и k, так и по мере приближения величин p и q к 0.5.

Интегральная теорема Муавра—Лапласа. Пусть 0< p <1, тогда для схемы Бернулли при n ® ¥ для любых a и b справедлива формула

Центральная предельная теорема объясняет особую роль нормального закона распределения в теории вероятностей. Теорема утверждает, что всегда, когда случайная величина образуется в результате сложения большого числа одинаково распределенных независимых случайных величин с конечными дисперсиями, закон распределения этой случайной величины оказывается практически нормальным законом.

Центральная предельная теорема. Если случайные величины x₁, x₂, …, x_n, … попарно независимы, одинаково распределены и имеют конечную дисперсию, то при n ® ¥ равномерно по x Î (-¥,¥)

Теорема Ляпунова обобщает центральную предельную теорему на случай, когда случайная величина образуется в результате сложения большого числа независимых случайных величин, имеющих разные распределения, дисперсии которых малы по сравнению с дисперсией суммы. Закон распределения такой случайной величины оказывается практически нормальным законом. А поскольку случайные величины всегда порождаются очень большим количеством причин и, чаще всего, ни одна из них не имеет дисперсии, сравнимой с дисперсией самой случайной величины, то большинство встречающихся в практике случайных величин подчинено нормальному закону распределения.

Теорема Ляпунова. Пусть x₁, x₂, …, x_n, …— неограниченная последовательность независимых случайных величин с математическими ожиданиями m₁, m₂, …, m_n, … и дисперсиями s₁², s₂², …, s_n²… , причем все s_i² ограничены сверху, .

Обозначим , , , .

Тогда для любых действительных чисел a и b справедливо

. Здесь .

Теорема Ляпунова объясняет широкое распространение нормального закона распределения и поясняет механизм его образования.

В основе утверждений закона больших чисел лежит неравенство Чебышева. Оно определяет верхнюю границу вероятности того, что отклонение значения случайной величины от ее математического ожидания больше некоторого заданного числа. Замечательно, что неравенство Чебышева дает оценку вероятности события для случайной величины, распределение которой неизвестно, известны лишь ее математическое ожидание и дисперсия.

Неравенство Чебышева. Пусть Mx — математическое ожидание, а Dx — дисперсия случайной величины x. Тогда для любого e > 0 справедливо неравенство .

Это означает, что большие отклонения от среднего маловероятны.