8. Статистика

В настоящей и нескольких следующих заметках мы рассмотрим математические модели случайных событий. Математическая модель — это математическое выражение, представляющее случайную величину. Для дискретных случайных величин это математическое выражение известно под названием функция распределения. [1]

Если задача позволяет явно записать математическое выражение, представляющее случайную величину, можно вычислить точную вероятность любого ее значения. В этом случае можно вычислить и перечислить все значения функции распределения. В деловых, социологических и медицинских приложениях встречаются разнообразные распределения случайных величин. Одним из наиболее полезных распределений является биномиальное.

Биномиальное распределение используется для моделирования ситуаций, характеризующихся следующими особенностями.

• Выборка состоит из фиксированного числа элементов n, представляющих собой исходы некоего испытания.
• Каждый элемент выборки принадлежит одной из двух взаимоисключающих категорий, исчерпывающих все выборочное пространство. Как правило, эти две категории называют успех и неудача.
• Вероятность успеха р является постоянной. Следовательно, вероятность неудачи равна 1 – р.
• Исход (т.е. удача или неудача) любого испытания не зависит от результата другого испытания. Чтобы гарантировать независимость исходов, элементы выборки, как правило, получают с помощью двух разных методов. Каждый элемент выборки случайным образом извлекается из бесконечной генеральной совокупности без возвращения или из конечной генеральной совокупности с возвращением.

Подробнее »Биномиальное распределение

В предыдущей заметке мы рассмотрели понятия математического ожидания, дисперсии и стандартного отклонения дискретной случайной величины. В настоящей заметке вводится понятие ковариации между двумя переменными и его применение для управления портфелем активов. Эта задача вызывает большой интерес у финансовых аналитиков. [1]

Ковариация σ_XY между двумя дискретными случайными величинами X и Y определяется формулой

где X_i — i-e значение дискретной случайной величины X, Р(Х_i) — вероятность i-гo значения дискретной случайной величины X, Y_i — i-e значение дискретной случайной величины Y, Р(Y_i) — вероятность i-гo значения дискретной случайной величины Y, Р(Х_iY_i) — вероятность i-гo значения дискретной случайной величины X и i-гo значения дискретной случайной величины Y, i = 1, 2, … , N.

Подробнее »Ковариация и ее применение в финансовом деле

В одной из предыдущих заметок указывалось, что исход испытания может представлять собой числовую переменную. В свою очередь, числовые переменные разделяются на дискретные и непрерывные. Дискретные переменные характерны для перечислений и подсчета, а непрерывные — для измерений. В этой и нескольких последующих заметках будут рассмотрены общие положения и наиболее распространенные распределения, описывающие дискретные случайные величины. [1]

Распределение дискретной случайной величины — это исчерпывающий список всех возможных значений случайной переменной, где каждому исходу поставлена в соответствие его вероятность. Например, на рис. 1 приведено распределение количества ипотечных займов, выданных в течение недели местным филиалом банка. Поскольку в таблице приведены все возможные исходы, сумма их вероятностей равна 1.

Рис. 1. Распределение количества ипотечных займов, выданных за неделю

Подробнее »Распределение дискретной случайной величины

В рассмотренных ранее примерах вычислялись вероятности элементарных событий. Возникает вопрос: как определить вероятность события, если известна некая информация о событиях, происшедших до него? [1] Вероятность события А, при вычислении которой учитывается информация о событии В, называется условной и обозначается как Р(А|В).

Вероятность события А при условии, что наступило событие В, равна вероятности события А и В, деленной на вероятность события В:

Вероятность события В при условии, что наступило событие А, равна вероятности события А и В, деленной на вероятность события А:

где Р(А и В) – вероятность события А и В, Р(А) – вероятность события А, Р(В) – вероятность события В.

Подробнее »Условная вероятность. Теорема Байеса

Предыдущие заметки (см. оглавление) были посвящены методам сбора данных, способам построения таблиц и диаграмм, а также исследованию описательных статистик. В настоящей заметке излагаются основы теории вероятностей, позволяющей распространять результаты, полученные при изучении выборок, на всю генеральную совокупность. [1]

Что означает слово вероятность? Вероятность — это возможность наступления некоторого события. Можно говорить о вероятности того, что из колоды карт будет вынута карта черной масти, что человек предпочтет один продукт другому или что новый продукт, появившийся на рынке, будет пользоваться спросом. В каждом из этих вариантов вероятность является числовой величиной, лежащей в интервале от 0 до 1 включительно. Вероятность события, которое никогда не может произойти (невозможное событие), равна 0, а вероятность события, которое происходит постоянно (достоверное событие), равна 1.

Существует три подхода к предмету теории вероятностей: априорная классическая вероятность, эмпирическая классическая вероятность и субъективная вероятность. В рамках априорного классического подхода вероятность события оценивается на основе априорной информации. В простейшем случае, когда все исходы испытаний равновероятны, их вероятность определяется в соответствии с формулой:

(1) вероятность события = Х / Т,

где X — количество испытаний, в которых произошло событие, Т — общее количество испытаний.

Подробнее »Основные понятия теории вероятностей

Ранее была рассмотрена диаграмма разброса, иллюстрирующая распределение двумерных числовых данные (см. последний раздел Изображение двумерных числовых данных заметки Представление числовых данных в виде таблиц и диаграмм). В настоящей заметке мы изучим два количественных показателя, характеризующих силу зависимости между двумя переменными — ковариацию и коэффициент корреляции. [1] Ковариация оценивает силу линейной зависимости между двумя числовыми переменными X и Y. Выборочная ковариация:

Подробнее »Ковариация и коэффициент корреляции

Основные характеристики выборки (среднее значение, разброс и форма распределения) позволяют описать свойства данных и перейти к более глубоким исследованиям. Довольно часто для анализа данных применяется подход, основанный на пятерке базовых показателей и построении точечных и/или блочных диаграмм. [1]

Пятерка базовых показателей, обеспечивающих наиболее точную оценку вида распределения, состоит из следующих характеристик:

• Минимальное значение – Х_min,
• Первый квартиль – Q₁,
• Медиана,
• Третий квартиль – Q₃,
• Максимальное значение – X_max.

Подробнее »Анализ данных. Пять базовых показателей распределения случайной величины

Способы представления числовых и категорийных данных в виде таблиц и диаграмм являются существенной, но не основной частью анализа данных. Ведущая роль принадлежит методам исследования числовых данных и их свойств. В этой заметке рассмотрены способы определения среднего значения, вариации и формы распределения генеральной совокупности. [1]

В большинстве случаев данные концентрируются вокруг некоей центральной точки. Таким образом, чтобы описать любой набор данных, достаточно указать средне значение. Рассмотрим последовательно три числовые характеристики, которые используются для оценки среднего значения распределения: среднее арифметическое, медиана и мода.

Среднее арифметическое

Среднее арифметическое (часто называемое просто средним) — наиболее распространенная оценка среднего значения распределения. Она является результатом деления суммы всех наблюдаемых числовых величин на их количество. Для выборки, состоящей из чисел Х₁, Х₂, …, Х_n, выборочное среднее (обозначаемое символом ) равно = (Х₁ + Х₂ + … + Х_n) / n, или

где — выборочное среднее, n — объем выборки, X_i – i-й элемент выборки.

Подробнее »Определение среднего значения, вариации и формы распределения. Описательные статистики

Наиболее простыми и эффективными способами представления статистических данных являются графические изображения. [1] Хороший рисунок позволяет сразу выявить основные закономерности, скрытые в массиве информации. Для улучшения анализа данных необходимы ясные и точные таблицы и графики. Излишние украшения и вычурность лишь мешают. В последние годы широкое распространение электронных таблиц и графических пакетов привело к интенсивному использованию рисунков для иллюстрации статистических данных. Несмотря на то что графические изображения довольно часто приносят пользу, злоупотребление графикой создает впечатление, что единственной целью статистики является наукообразный обман.

Вероятно, одним из наиболее известных пропагандистов правильного представления данных с помощью графических средств является Эдвард Р. Тафти. Ранее я уже излагал его идеи в заметках Принцип Эдварда Тафти минимизации количества элементов диаграммы и Как с помощью диаграммы приукрасить действительность? или о факторе лжи Эдварда Тафти.

Подробнее »Искусство графического представления данных

В предыдущей заметке таблицы и диаграммы применялись для представления числовых данных. Однако часто данные носят не числовой, а категориальный характер. В этой заметке изучаются способы организации и представления категорийных данных в виде таблиц и диаграмм. [1]

Вернемся к анализу доходности взаимных фондов. Кроме среднегодовой доходности фонды характеризуются риском, связанном с инвестированием в эти фонды. Взаимные фонды могут иметь очень низкий, низкий, средний, высокий и очень высокий риск. При работе с категорийными переменными данные сначала заносятся в сводную таблицу, а затем графически представляются в виде гистограмм, круговых диаграмм или диаграмм Парето.

Сводная таблица

По внешнему виду сводная таблица для категорийных данных напоминает распределение частот для числовых данных. Чтобы проиллюстрировать процесс ее построения, рассмотрим данные о классификации взаимных фондов по уровню риска (рис. 1).

Рис. 1. Уровень риска 259 взаимных фондов. Частоты и процентные доли

Подробнее »Представление категорийных данных в виде таблиц и диаграмм