Возникновение теории вероятностей как науки относится к средним векам и первым попыткам математического анализа азартных игр, таких как кости и рулетка.
Как показывает практика нельзя заранее предугадать, какое из допустимых значений примет случайная величина. Необходимо отметить, что о любой случайной величине мы располагаем определенными знаниями, но бывает очень тяжело найти закономерности в ее поведении.
Анализ соответствующей литературы показал, что при отдельных условиях суммарное поведение достаточно значительного числа случайных величин почти целиком теряет случайный характер и при этом делается закономерным.
На практике при изучении закономерностей массовых случайных явлений, зависящих от большого числа случайных факторов, мы используем так называемые предельные теоремы. К ним относятся теоремы Чебышева, Пуассона, Бернулли и т. д.
Предельны теоремы делятся на две группы. К первой группе относятся теоремы, объединенные под общим названием «закон больших чисел». В них ставятся условия, при которых среднее арифметическое случайных величин приближается к некоторым детерминированным (неслучайным) величинам.
Важный вклад в теорию «больших чисел» внёс Якоб Бернулли. Заслуга его заключается в том, что он дал доказательство закона больших чисел в простейшем случае независимых испытаний. В первой половине XIX века Лаплас и Пуассон доказали первые предельные теоремы, что позволило начать их применять к анализу ошибок наблюдений.
Необходимо отметить, что, заложенные Якобом Бернулли основы применения теории вероятностей в различных сферах жизни общества, в том числе и экономике, имели огромное значение. В его труде «Искусство предположений» ученый доказывает теорему о больших числах, выводит понятие доверительного интервала. Существует два вопроса, связанных с теорией вероятностей. Первый вопрос заключается в следующем: как будут соотноситься результаты, полученные на практике, с теоретическими? Второй вопрос состоит в решении обратной задачи: можно ли определить теоретическую вероятность по результатам испытаний?
Якоб Бернулли посвятил несколько десятилетий изучению этой задачи и математически доказал, что при бросании игрального кубика большое число раз доля случаев, когда выпадет четыре очка, будет приближаться к 1/6. Математик назвал свое открытие золотой теоремой, однако в современной формулировке она известная как закон больших чисел.
Если в каждом из n независимых испытаний вероятность p появления события постоянна, то с вероятностью, стремящейся к единице, можно утверждать, что при неограниченном увеличении числа испытаний относительная частота W появления события сходится по вероятности к его вероятности P:
.
Теорема Бернулли состоит из двух частей, первая из которых говорит о том, что заданной точности можно достичь при конечном числе экспериментов. Вторая часть теоремы позволяет рассчитать количество экспериментов, которое потребуется для достижения желаемой точности.
Например, при проведении выборов в краевую государственную думу можно установить допустимое значение ошибки и определить число бюллетеней, которые должны будут заполнить избиратели, чтобы получить результат с заданной точностью.
Одним из наиболее общих законов больших чисел является терема Чебышева, которая справедлива не только для дискретных, но и для непрерывных случайных величин. Опыт показывает, что данная теорема подтверждает связь между случайностью и необходимостью.
Например. Устройство состоит из 10 независимо работающих элементов. Вероятность отказа каждого элемента за время T равна 0,05. Оценить вероятность того, что абсолютная величина разности между числом отказавших элементов и средним числом (математическим ожиданием) отказов за время T окажется: а) меньше двух; б) не меньше двух.
Решение. а). Обозначим через дискретную случайную величину X число отказавших элементов за время T. Тогда
Воспользуемся неравенством Чебышева:
.
Подставим 
, получим
.
б). События 
и 
противоположны, поэтому сумма их вероятностей равна единице. Значит, 
.
Таким образом, уверенно сказать, какое возможное значение примет каждая из случайных величин, нельзя. Однако, можно с определенной уверенностью предвидеть, какое значение примет их среднее арифметическое. Данная характеристика достаточно большого числа независимых случайных величин утрачивает характер случайной величины. Это связанно с тем, что отклонения каждой из величин от своих математических ожиданий могут быть как положительными, так и отрицательными. Однако, в среднем арифметическом отклонении они взаимно погашаются.