Стохастическая зависимость
Зачастую теорию вероятностей воспринимают как раздел математики, который занимается «исчислением вероятностей».
И всё это исчисление фактически сводится к простой формуле:
«Вероятность любого события равна сумме вероятностей входящих в него элементарных событий». Практически эта формула повторяет, привычное нам с детства, «заклинание»:
«Масса предмета равна сумме масс составляющих его частей».
Здесь мы будем обсуждать не столь тривиальные факты из теории вероятностей. Речь пойдёт, в первую очередь, о зависимых и независимых событиях.
Важно понять, что одинаковые термины в различных разделах математики могут иметь совершенно различный смысл.
Например, когда говорят, что площадь круга S зависит от его радиуса R, то, конечно, имеется в виду функциональная зависимость
.
Совсем другой смысл у понятий зависимость и независимость в теории вероятностей.
Знакомство с этими понятиями начнём с простого примера.
Представьте, что вы проводите эксперимент с бросанием игральной кости в этой комнате, а ваш коллега в соседней комнате тоже подбрасывает монету. Пусть вас интересует событие А – выпадение «двойки» у вас и событие В – выпадение «решки» у вашего коллеги. Здравый смысл подсказывает: эти события независимы!
Хотя мы ещё не ввели понятия зависимости/независимости, но интуитивно ясно, что любое разумное определение независимости должно быть устроено так, чтобы эти события определялись как независимые.
Теперь обратимся к другому эксперименту. Бросается игральная кость, событие А – выпадение «двойки», событие В – выпадение нечётного числа очков. Считая, что кость симметрична, можно сразу сказать, что Р(А) = 1/6. А теперь представьте, что вам сообщают: «В результате проведенного эксперимента произошло событие В, выпало нечётное число очков». Что теперь можно сказать о вероятности события А? Понятно, что теперь эта вероятность стала равна нулю.
Для нас самое важное, что она изменилась.
Возвращаясь к первому примеру, можно сказать, информация о том, что в соседней комнате произошло событие В никак не скажется на ваших представлениях о вероятности события А. Эта вероятность не изменится от того, что вы что-то узнали о событии В.
Мы приходим к естественному и чрезвычайно важному выводу –
если информация о том, что событие В произошло меняет вероятность события А, то события А и В следует считать зависимыми, а если не меняет – то независимыми.
Этим соображениям следует придать математическую форму, определить зависимость и независимость событий с помощью формул.
Будем исходить из следующего тезиса: «Если А и В – зависимые события, то в событии А содержится информация о событии В, а в событии В содержится информация о событии А». А как узнать – содержится или нет? Ответ на этот вопрос даёт теория информации.
Из теории информации нам нужна только одна формула, которая позволяет вычислить количество взаимной информации I(A, B) для событий А и В
Не будем вычислять количество информации для различных событий или подробно обсуждать эту формулу.
Для нас важно, что если
то количество взаимной информации между событиями А и В равно нулю − события А и В независимы. Если же
то количество взаимной информации 
− события А и В зависимы.
Обращение к понятию информации носит здесь вспомогательный характер и, как нам кажется, позволяет сделать более осязаемыми понятии зависимости и независимости событий.
В теории вероятностей зависимость и независимость событий описывается более формально.
В первую очередь нам понадобится понятие условной вероятности.
Условная вероятность события А при условии, что событие В произошло (Р(В) ≠0), называется величина Р(А|В), вычисляемая по формуле
.
Следуя духу нашего похода к пониманию зависимости и независимости событий можно ожидать, что условная вероятность будет обладать следующим свойством: если события А и В независимы, то
Это означает, что информация о том, что событие В произошло никак не влияет на вероятность события А.
Так оно и есть!
Если события А и В независимы , то 
Имеем для независимых событий А и В
и 
