Перейти к содержимому

Александр Орлов. Математика случая

Книга написана с целью преодоления разрыва между курсами по теории вероятностей и математической статистике и практическими потребностями специалистов широкого профиля, использующих статистические методы. Рассмотрены все основные понятия, используемые при применении современных статистических методов. Особое внимание уделено непараметрическим подходам и статистике нечисловых данных. Книга адресована всем, кому необходимо в сжатые сроки овладеть понятийной базой статистических методов.

Александр Иванович Орлов. Математика случая. Вероятность и статистика – основные факты. – М.: МЗ-Пресс, 2004. – 110 с.

Скачать заметку в формате Word или pdf

Глава 1. Вероятность и статистика нужны всем

По типу решаемых задач математическая статистика обычно делится на три раздела: описание данных, оценивание и проверка гипотез.

По виду обрабатываемых статистических данных математическая статистика делится на четыре направления:

  • одномерная статистика (статистика случайных величин), в которой результат наблюдения описывается действительным числом;
  • многомерный статистический анализ, где результат наблюдения над объектом описывается несколькими числами (вектором);
  • статистика случайных процессов и временных рядов, где результат наблюдения – функция;
  • статистика объектов нечисловой природы, в которой результат наблюдения имеет нечисловую природу, например, является множеством (геометрической фигурой), упорядочением или получен в результате измерения по качественному признаку.

Глава 2. Основы теории вероятностей

Рис. 1. Соответствие терминов теории вероятностей и теории множеств

Определение в рамках аксиоматического подхода на базе математической модели, предложенной А.Н. Колмогоровым. Пусть конечное множество Ω = {ω} является пространством элементарных событий, соответствующим некоторому опыту. Пусть каждому ω ∈ Ω поставлено в соответствие неотрицательное число Р(ω), называемое вероятностью элементарного события ω, причем сумма вероятностей всех элементарных событий равна 1, т.е.

Тогда пара {Ω,P}, состоящая из конечного множества Ω и неотрицательной функции Р, определенной на Ω и удовлетворяющей условию (1), называется вероятностным пространством. Вероятность события А равна сумме вероятностей элементарных событий, входящих в А, т.е. определяется равенством

Случайная величина – это функция, определенная на пространстве элементарных событий ω. Всегда наблюдается лишь реализация случайной величины, т.е. ее значение, соответствующее именно тому элементарному исходу опыта (элементарному событию), которое осуществилось в конкретной реальной ситуации. А функция от элементарного события – это теоретическое понятие, основа вероятностной модели реального явления или процесса.

Математическим ожиданием случайной величины Х называется число

Т.е. математическое ожидание случайной величины – это взвешенная сумма значений случайной величины с весами, равными вероятностям соответствующих элементарных событий.

Математическое ожидание показывает, вокруг какой точки группируются значения случайной величины. Необходимо также уметь измерить изменчивость случайной величины относительно математического ожидания. M[(X – a)2] достигает минимума по а при а = М(Х). Поэтому за показатель изменчивости случайной величины естественно взять именно М[(Х – М(Х))2].

Дисперсией случайной величины Х называется число σ2 = D(X) = M [(X – M (X))2].

Если случайные величины Х и У независимы, то дисперсия их суммы Х+У равна сумме дисперсий: D(X+Y) = D(X) + D(Y).

Пусть X1, X2, …, Xk – попарно независимые случайные величины. Пусть Yk – их сумма, Yk = X1+X2+…+Xk. Тогда математическое ожидание суммы равно сумме математических ожиданий слагаемых, M(Yk) = М(Х1)+ М(Х2)+…+М(Хk), дисперсия суммы равна сумме дисперсий слагаемых, D(Yk) = D(X1)+D(X2)+… +D(Xk).

Эти утверждения играют важную роль при изучении выборочных характеристик, поскольку результаты наблюдений, включенные в выборку, рассматриваются в математической статистике как реализации независимых случайных величин.

Теорема Бернулли. Пусть m – число наступлений события А в k независимых (попарно) испытаниях, и р – вероятность наступления события А в каждом из испытаний. Тогда при любом ε > 0 справедливо неравенство

Проверка статистических гипотез. Одна из основных характеристик метода проверки гипотезы – уровень значимости, т.е. вероятность отвергнуть проверяемую (нулевую) гипотезу Н0, когда она верна. Если для выбранного уровня значимости α вероятность отвергнуть ее меньше α, то гипотезу отвергают, как говорят, на уровне значимости α. Если эта вероятность больше или равна α, то гипотезу не отвергают. Обычно в вероятностно-статистических методах принятия решений выбирают α = 0,05, реже α = 0,01 или α = 0,1.

Теорема Бернулли позволяет оценить неизвестную вероятность р числом m/k, поскольку доказано, что при возрастании k вероятность того, что m/k отличается от p более чем на какое-либо фиксированное число, приближается к 0.

Глава 3. Суть вероятностно-статистических методов

Для принятия решений опираются на вероятностную модель реального явления или процесса, т.е. математическую модель, в которой объективные соотношения выражены в терминах теории вероятностей. Математическая статистика решает обратную задачу по отношению к теории вероятностей. Ее цель – на основе результатов наблюдений получить выводы о вероятностях, лежащих в основе вероятностной модели. Например, на основе частоты появления дефектных изделий в контрольной выборке можно сделать выводы о вероятности дефектности всей партии.

Используются два параллельных ряда понятий – относящиеся к теории (вероятностной модели) и относящиеся к практике (выборке результатов наблюдений). Например, теоретической вероятности соответствует частота, найденная по выборке. Математическому ожиданию (теоретический ряд) соответствует выборочное среднее арифметическое (практический ряд). Как правило, выборочные характеристики являются оценками теоретических. При этом величины, относящиеся к теоретическому ряду, «находятся в головах исследователей», недоступны для непосредственного измерения.

Чтобы перенести выводы с выборки на более обширную совокупность, необходимы те или иные предположения о связи выборочных характеристик с характеристиками этой более обширной совокупности. Эти предположения основаны на соответствующей вероятностной модели.

Итак, использование вероятностных моделей на основе оценивания и проверки гипотез с помощью выборочных характеристик – вот суть вероятностно-статистических методов принятия решений.

Глава 4. Случайные величины и их распределения

Распределение числовой случайной величины – это функция, которая однозначно определяет вероятность того, что случайная величина принимает заданное значение или принадлежит к некоторому заданному интервалу.

Распределение может быть задано с помощью функции распределения F(x) = P(X<x), определяющей для всех действительных х вероятность того, что случайная величина Х принимает значения, меньшие х.

Характеристики положения указывают на «центр» распределения. Большое значение в статистике имеет квантиль порядка р = ½. Он называется медианой случайной величины Х или ее функции распределения F(x) и обозначается Me(X). Медиана характеризует случайную величину лучше, чем математическое ожидание.

Характеристики разброса: дисперсия D(X) = σ2, среднее квадратическое отклонение σ и коэффициенту вариации ν. Коэффициент вариации – это отношение среднего квадратического отклонения к математическому ожиданию:

Коэффициент вариации измеряет разброс в относительных единицах, в то время как среднее квадратическое отклонение – в абсолютных.

Преобразования случайных величин

По каждой случайной величине Х определяют еще три величины. Центрированная случайная величина Y – это разность между данной случайной величиной Х и ее математическим ожиданием М(Х), т.е. Y = Х – М(Х). Нормированная случайная величина V – это отношение данной случайной величины Х к ее среднему квадратическому отклонению σ, т.е. V = X/σ. Приведенная случайная величина U – это центрированная и нормированная случайная величина:

Для приведенной случайной величины M(U) = 0, D(U) = 1.

С каждой случайной величиной Х можно связать множество случайных величин Y, заданных формулой Y = aX + b. Вместо Y = aX + b часто используют запись

Число с называют параметром сдвига, а число d – параметром масштаба. Формула (7) показывает, что Х – результат измерения некоторой величины – переходит в Y – результат измерения той же величины, если начало измерения перенести в точку с, а затем использовать новую единицу измерения, в d раз большую старой.

Для масштабно-сдвигового семейства (7) распределение Y называют стандартным.

Моменты случайных величин

При обработке данных используют такие характеристики случайной величины Х как моменты порядка q, т.е. математические ожидания случайной величины Xq, q = 1, 2, … Так, само математическое ожидание – это момент порядка 1. Для дискретной случайной величины момент порядка q может быть рассчитан как

Для непрерывной случайной величины

Моменты порядка q называют также начальными моментами порядка q, в отличие от родственных характеристик – центральных моментов порядка q, задаваемых формулой

Так, дисперсия – это центральный момент порядка 2.

Центральная предельная теорема

Пусть X1, X2, …, Xn – независимые одинаково распределенные случайные величины с математическими ожиданиями M(Xi) = m и дисперсиями D(Xi) =σ2, i = 1, 2, …, n. Тогда M(X1 + X2 + … + Xn) = nm, D(X1 + X2 + … + Xn) = nσ2.

Рассмотрим приведенную случайную величину Un для суммы X1 + X2 + … + Xn, а именно,

По аналогии с (6), M(Un) = 0, D(Un) = 1.

Центральная предельная теорема утверждает, что для любого х существует предел

где Φ(x) – интегральная функция стандартного нормального распределения.

Центральная предельная теорема (ЦПТ) носит свое название по той причине, что она является центральным, наиболее часто применяющимся математическим результатом теории вероятностей и математической статистики. Суть ЦПТ – независимо от вида распределения X, средние значения достаточно больших выборок из Х (X1, X2, …, Xn в пределе при n→∞) распределены нормально.

Семейство нормальных распределений

Для центральных моментов третьего и четвертого порядка нормального распределения справедливы равенства μ3 = 0, μ4 = σ4. Эти равенства лежат в основе классических методов проверки того, что результаты наблюдений подчиняются нормальному распределению. В настоящее время нормальность обычно рекомендуется проверять по критерию W Шапиро – Уилка.

Распределения Пирсона (хи-квадрат), Стьюдента и Фишера

С помощью нормального распределения определяются еще три весьма распространенных распределения.

Распределение Пирсона χ2 (хи — квадрат) – распределение случайной величины Х

где случайные величины X1, X2, …, Xn независимы и имеют одно и тоже нормальное распределение N(0,1) с μ = 0 и σ = 1. При этом число слагаемых n, называется числом степеней свободы.

Распределение хи-квадрат широко используют при оценивании дисперсии (с помощью доверительного интервала), при проверке гипотез согласия, однородности, независимости и др.

Распределение t Стьюдента – это распределение случайной величины

где случайные величины U и X независимы, U имеет стандартное нормальное распределение N(0,1), а X – распределение хи-квадрат с n степенями свободы.

Распределение Стьюдента – одно из наиболее известных распределений среди используемых при анализе реальных данных. Его применяют при оценивании математического ожидания, прогнозного значения и других характеристик с помощью доверительных интервалов, по проверке гипотез о значениях математических ожиданий, коэффициентов регрессионной зависимости, гипотез однородности выборок и т.д.

Распределение Фишера – это распределение случайной величины

где случайные величины Х1 и Х2 независимы и имеют распределения хи-квадрат с числом степеней свободы k1 и k2 соответственно.

Распределение Фишера используют при проверке гипотез об адекватности модели в регрессионном анализе, о равенстве дисперсий и в других задачах прикладной статистики.

Кроме семейства нормальных распределений, широко используют логарифмически нормальные распределения, экспоненциальные, Вейбулла-Гнеденко, гамма-распределения.

Логарифмически нормальные распределения

Случайная величина Х имеет логарифмически нормальное распределение, если случайная величина Y = lgX имеет нормальное распределение.

Из центральной предельной теоремы следует, что произведение X = X1X2…Xn независимых положительных случайных величин Xi при больших n можно аппроксимировать логарифмически нормальным распределением.

Экспоненциальные распределения

Рассмотрим поток событий, т.е. последовательность событий, происходящих одно за другим в какие-то моменты времени. Например, поток вызовов на телефонной станции. В теории потоков событий справедлива теорема, аналогичная центральной предельной теореме, но в ней речь идет не о суммировании случайных величин, а о суммировании потоков событий. Рассматривается суммарный поток, составленный из большого числа независимых потоков. Например, вызовов, поступающих на телефонную станцию от отдельных абонентов. Доказано, что в случае, когда характеристики потоков не зависят от времени, суммарный поток полностью описывается одним числом λ – интенсивностью потока. Для суммарного потока рассмотрим случайную величину Х – длину промежутка времени между последовательными событиями. Ее функция распределения:

Это распределение называется экспоненциальным распределением, т.к. в формуле (16) участвует экспоненциальная функция. Величина 1/λ – масштабный параметр. Функция экспоненциального распределения F(x, λ) и его плотность f(x, λ) связаны соотношением

Распределения Вейбулла – Гнеденко

Пусть Х – случайная величина, характеризующая длительность функционирования изделия, предприятия или жизни живого существа. Важную роль играет интенсивность отказа

где F(x) и f(x) – функция распределения и плотность случайной величины Х.

Распределение Вейбулла – Гнеденко

Экспоненциальное распределение – частный случай распределения Вейбулла – Гнеденко при b = 1.

Распределение Вейбулла – Гнеденко применяется также при построении вероятностных моделей ситуаций, в которых поведение объекта определяется наиболее слабым звеном. Пусть X1, X2, …, Xn – независимые одинаково распределенные случайные величины, X(1) = min (X1, X2, …, Xn), а X(n) = max (X1, X2, …, Xn).

В ряде прикладных задач большую роль играют X(1) и X(n), в частности, при исследовании максимально возможных значений (рекордов) тех или иных значений, например, страховых выплат или потерь из-за коммерческих рисков, при изучении пределов упругости и выносливости стали, ряда характеристик надежности и т.п. Показано, что при больших n распределения X(1) и X(n) хорошо описываются распределениями Вейбулла – Гнеденко.

Наиболее часто используют три семейства дискретных распределений: биномиальные, гипергеометрические и Пуассона.

Биномиальное распределение

Пусть общее число независимых испытаний n. В каждом из них с вероятностью р появляется событие А. Тогда число испытаний Y, в которых появилось событие А, имеет биномиальное распределение. Для него вероятность принятия случайной величиной Y значения y определяется формулой

где

– число сочетаний из n элементов по y, известное из комбинаторики. Для всех y, кроме 0, 1, 2, …, n, имеем P(Y=y)=0. Биномиальное распределение при фиксированном объеме выборки n задается параметром p, т.е. биномиальные распределения образуют однопараметрическое семейство. Они применяются при изучении предпочтений потребителей, выборочном контроле качества продукции, в демографии, социологии, медицине, биологии и др.

Характеристики биномиального распределения: M(Y) = np, D(Y) = np(1 – p).

Гипергеометрическое распределение

Используется при выборочном контроле конечной совокупности объектов объема N по альтернативному признаку. Каждый контролируемый объект классифицируется либо как обладающий признаком А, либо как не обладающий этим признаком. Гипергеометрическое распределение имеет случайная величина Y, равная числу объектов, обладающих признаком А в случайной выборке объема n, где n < N. Для гипергеометрического распределения вероятность принятия случайной величиной Y значения y имеет вид

где D – число объектов, обладающих признаком А, в рассматриваемой совокупности объема N. При этом y принимает значения от max{0, n — (N — D)} до min{n, D}, при прочих y вероятность в формуле (22) равна 0. Таким образом, гипергеометрическое распределение определяется тремя параметрами – объемом генеральной совокупности N, числом объектов D в ней, обладающих рассматриваемым признаком А, и объемом выборки n.

Для рассматриваемого типа выборок используются термин случайная выборка без возвращения.

При N > 10n гипергеометрическое распределение аппроксимируется биномиальным.

Распределение Пуассона

Случайная величина Y имеет распределение Пуассона, если

где λ – параметр распределения Пуассона, и P(Y=y)=0 для всех прочих y (0! =1). Для распределения Пуассона M(Y) = λ, D(Y) = λ.

Распределение Пуассона является предельным случаем биномиального распределения, когда вероятность р осуществления события мала, но число испытаний n велико, причем np = λ. Поэтому распределение Пуассона также называют законом редких событий.

Глава 5. Основные проблемы прикладной статистики – описание данных, оценивание и проверка гипотез

Статистические данные – это результаты наблюдений (измерений, испытаний, опытов, анализов). Функции результатов наблюдений, используемые, в частности, для оценки параметров распределений и (или) для проверки статистических гипотез, называют статистиками. Статистики, являющиеся выборочными аналогами характеристик случайных величин (математического ожидания, медианы, дисперсии, моментов и др.) и используемые для оценивания этих характеристик, называют статистическими характеристиками.

Эмпирической функцией распределения Fn(x) называется доля элементов выборки, меньших x. Чтобы записать выражение для эмпирической функции распределения в виде формулы, введем функцию с(х, у) двух переменных:

Случайные величины, моделирующие результаты наблюдений, обозначим X1(ω), X2(ω), …, Xn(ω), ωΩ. Тогда эмпирическая функция распределения Fn(x) имеет вид

Из закона больших чисел следует, что для каждого действительного числа x эмпирическая функция распределения Fn(x) сходится к функции распределения F(x) результатов наблюдений при n→∞. В.И. Гливенко доказал, что сходимость равномерна по х, т.е.

при n→∞ (сходимость по вероятности).

Для функции g(x) под supg(x) понимают наименьшее x из чисел a таких, что g(x)≤a при всех x. Если функция g(x) достигает максимума в точке х0, то

В таком случае вместо sup пишут max. А.Н. Колмогоров усилил результат В.И. Гливенко для непрерывных функций распределения F(x). Рассмотрим случайную величину

и ее функцию распределения

По теореме А.Н. Колмогорова

при каждом х, где К(х) – функция распределения Колмогорова.

Работа А.Н. Колмогорова породила одно из основных направлений математической статистики – т.н. непараметрическую статистику. В настоящее время непараметрические критерии согласия Колмогорова, Смирнова, омега-квадрат широко используются. Они были разработаны для проверки согласия с полностью известным теоретическим распределением, т.е. предназначены для проверки гипотезы H0: F(x) ≡ F0(x). Основная идея критериев Колмогорова, омега-квадрат и аналогичных им состоит в измерении расстояния между функцией эмпирического распределения и функцией теоретического распределения. Различаются эти критерии видом расстояний в пространстве функций распределения.

Выборочные характеристики распределения

По аналогии с генеральной совокупностью для описания данных выборки используют выборочное среднее x̅, выборочную медиану x̃, выборочную дисперсию s2, выборочное среднее квадратическое отклонение s, размах R.

Основные понятия, используемые при оценивании

Оценивание – это определение приближенного значения неизвестного параметра генеральной совокупности по результатам наблюдений. Оценивание проводят с помощью оценок – статистик (функций от результатов наблюдений). Раз – точечное оценивание и оценивание с помощью доверительной области.

Точечное оценивание – способ оценивания, заключающийся в том, что значение оценки принимается как неизвестное значение параметра распределения. Например, математическое ожидание m можно оценить с помощью выборочного среднего арифметического х̅, выборочной медианы х̃ или полусуммы минимального и максимального членов вариационного ряда m** = [x(1)+x(n)]/2. Наличие нескольких методов оценивания одних и тех же параметров приводит к необходимости выбора между этими методами.

Сравнение проводят на основе таких показателей качества методов оценивания, как состоятельность, несмещенность, эффективность и др. Рассмотрим оценку Θn числового параметра Θ, определенную при n = 1, 2, … Оценка Θn называется состоятельной, если она сходится по вероятности к значению оцениваемого параметра Θ при безграничном возрастании объема выборки. Все (за редчайшими исключениями) оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются состоятельными.

Несмещенная оценка Θn – это оценка параметра Θ, математическое ожидание которой равно значению оцениваемого параметра: М(Θn) = Θ. Оценки, для которых соотношение М(Θn) = Θ неверно, называются смещенными. При этом разность между математическим ожиданием оценки Θn и оцениваемым параметром Θ, т.е. M(Θn) – Θ, называется смещением оценки.

Эффективная оценка – это несмещенная оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок данного параметра. Доказано, что x̅ и s0 являются эффективными оценками параметров m и σ нормального распределения. В то же время для выборочной медианы x̃ справедливо предельное соотношение

Другими словами, эффективность выборочной медианы, т.е. отношение дисперсии эффективной оценки x̅ параметра m к дисперсии несмещенной оценки x̃ этого параметра при больших n близка к 0,637. Именно из-за сравнительно низкой эффективности выборочной медианы в качестве оценки математического ожидания нормального распределения обычно используют выборочное среднее арифметическое.

Подавляющее большинство оценок Θn, используемых в вероятностно-статистических методах, являются асимптотически нормальными, т.е. для них справедливы предельные соотношения:

для любого х, где Φ(х) – функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Это означает, что для больших объемов выборок (несколько десятков или сотен наблюдений) распределения оценок полностью описываются их математическими ожиданиями и дисперсиями, а качество оценок – значениями средних квадратов ошибок dn(Θn).

Доверительное оценивание

Доверительная область – это область в пространстве параметров, в которую с заданной вероятностью входит неизвестное значение оцениваемого параметра распределения. «Заданная вероятность» называется доверительной вероятностью и обычно обозначается γ. Пусть Θ – пространство параметров. Рассмотрим статистику Θ1 = Θ1(x1, x2, …, xn) – функцию от результатов наблюдений x1, x2, …, xn, значениями которой являются подмножества пространства параметров Θ. Так как результаты наблюдений – случайные величины, то Θ1 – также случайная величина, значения которой – подмножества множества Θ, т.е. Θ1 – случайное множество.

Статистика Θ1 называется доверительной областью, соответствующей доверительной вероятности γ, если

При оценке одного числового параметра в качестве доверительных областей обычно применяют доверительные интервалы.

Доверительный интервал – это интервал, который с заданной вероятностью γ накроет неизвестное значение оцениваемого параметра распределения. Пусть x1, x2, …, xn – выборка из нормального закона N(m,σ), параметры m и σ неизвестны. Укажем доверительные границы для m. Известно, что случайная величина

имеет распределение Стьюдента с (n–1) степенью свободы, где х̅ – выборочное среднее арифметическое и s0 – выборочное среднее квадратическое отклонение. Тогда в качестве нижней и верхней доверительных границ следует взять

При обработке экономических, управленческих или технических статистических данных обычно используют значение доверительной вероятности γ = 0,95. Применяют также значения γ = 0,99 или γ = 0,90. Иногда встречаются иные значения γ.

Доверительное оценивание для дискретных распределений

Для дискретных распределений, таких, как биномиальное, гипергеометрическое или распределение Пуассона (а также распределения статистики Колмогорова (28) и других непараметрических статистик), функции распределения имеют скачки.

Основные понятия, используемые при проверке гипотез

Статистическая гипотеза – любое предположение, касающееся неизвестного распределения случайных величин. Различают нулевую и альтернативную гипотезы. Нулевая гипотеза – гипотеза, подлежащая проверке. Альтернативная гипотеза – каждая допустимая гипотеза, отличная от нулевой. Нулевую гипотезу обозначают Н0, альтернативную – Н1 (от англ. Hypothesis).

Например, в качестве показателей стабильности технологического, экономического, управленческого или иного процесса используют ряд характеристик распределений контролируемых показателей, в частности, коэффициент вариации ν = σ/M(X). Требуется проверить нулевую гипотезу Н0: ν ≤ ν0 при альтернативной гипотезе Н1: ν > ν0, где ν0 – некоторое заранее заданное граничное значение.

Конкретная задача проверки статистической гипотезы полностью описана, если заданы нулевая и альтернативная гипотезы. Выбор метода проверки статистической гипотезы, свойства и характеристики методов определяются как нулевой, так и альтернативной гипотезами. Для проверки одной и той же нулевой гипотезы при различных альтернативных гипотезах, возможно, следует использовать различные методы.

Параметрические и непараметрические гипотезы

Предположение, которое касается неизвестного значения параметра распределения, входящего в некоторое параметрическое семейство распределений, называется параметрической гипотезой. Предположение, при котором вид распределения неизвестен (не предполагается, что оно входит в некоторое параметрическое семейство распределений), называется непараметрической гипотезой. Таким образом, если распределение F(x) результатов наблюдений в выборке, согласно принятой вероятностной модели, входит в некоторое параметрическое семейство {F(x;θ), θΘ}, т.е. F(x) = F(x;θ0) при некотором θ0Θ, то рассматриваемая гипотеза – параметрическая, в противном случае – непараметрическая.

Непараметрические задачи делятся на два класса: в одном из них речь идет о проверке утверждений, касающихся функций распределения, во втором – о проверке утверждений, касающихся характеристик распределений. Статистическая гипотеза называется простой, если она однозначно задает распределение результатов наблюдений, вошедших в выборку. В противном случае статистическая гипотеза называется сложной.

Однозначно определенный способ проверки статистических гипотез называется статистическим критерием. Статистический критерий строится с помощью статистики U(x1, x2, …, xn) – функции от результатов наблюдений x1, x2, …, xn. В пространстве значений статистики U выделяют критическую область Ψ, т.е., область со следующим свойством: если значения применяемой статистики принадлежат данной области, то отклоняют (иногда говорят отвергают) нулевую гипотезу, в противном случае – не отвергают.

Статистику U, используемую при построении определенного статистического критерия, называют статистикой этого критерия. Например, критерий Колмогорова, основанный на статистике (28). При этом Dn называют статистикой критерия Колмогорова.

Статистические критерии делятся на параметрические и непараметрические. Параметрические критерии используются в параметрических задачах проверки статистических гипотез, а непараметрические – в непараметрических задачах.

Уровень значимости и мощность

При проверке статистической гипотезы возможны ошибки. Есть два рода ошибок. Ошибка первого рода заключается в том, что отвергают нулевую гипотезу, в то время как в действительности эта гипотеза верна. Ошибка второго рода состоит в том, что не отвергают нулевую гипотезу, в то время как в действительности эта гипотеза неверна.

Вероятность ошибки первого рода называется уровнем значимости и обозначается α. Вероятность ошибки второго рода β=P{U Ψ |H1}. Обычно используют не эту вероятность, а ее дополнение до 1, т.е. 1 – P{U Ψ |H1}. Эта величина носит название мощности критерия – вероятность того, что нулевая гипотеза будет отвергнута, когда альтернативная гипотеза верна.

В статистическом приемочном контроле α – риск изготовителя, β – риск потребителя. При статистическом регулировании технологического процесса α – риск излишней наладки, β – риск незамеченной разладки.

Глава 6. Некоторые типовые задачи прикладной статистики и методы их решения

В современной математической статистике разработан ряд общих методов определения оценок и доверительных границ – метод моментов, метод максимального правдоподобия, метод одношаговых оценок, метод устойчивых (робастных) оценок, метод несмещенных оценок и др.

Метод моментов основан на использовании выражений для моментов рассматриваемых случайных величин через параметры их функций распределения. Оценки метода моментов получают, подставляя выборочные моменты вместо теоретических в функции, выражающие параметры через моменты.

В методе максимального правдоподобия, разработанном Р.А.Фишером, в качестве оценки параметра θ берут значение θ*, для которого максимальна так называемая функция правдоподобия f(x1, θ) f(x2, θ)… f(xn, θ) где x1, x2, …, xn – результаты наблюдений; f(x, θ) – их плотность распределения, зависящая от параметра θ, который необходимо оценить.

В непараметрических задачах оценивания принимают вероятностную модель, в которой результаты наблюдений x1, x2, …, xn рассматривают как реализации n независимых случайных величин с функцией распределения F(x) общего вида. От F(x) требуют лишь выполнения некоторых условий типа непрерывности, существования математического ожидания и дисперсии и т.п. Подобные условия не являются столь жесткими, как условие принадлежности к определенному параметрическому семейству.

Непараметрическое оценивание функции распределения

Правила определения оценок и доверительных границ в параметрическом случае строятся на основе параметрического семейства распределений F(x;θ). При обработке реальных данных возникает вопрос – соответствуют ли эти данные принятой вероятностной модели? Т.е. статистической гипотезе о том, что результаты наблюдений имеют функцию распределения из семейства {F(x;θ), θΘ}, при некотором θ = θ0? Такие гипотезы называют гипотезами согласия, а критерии их проверки – критериями согласия.

Если истинное значение параметра θ = θ0 известно, функция распределения F(x;θ0) непрерывна, то для проверки гипотезы согласия часто применяют критерий Колмогорова, основанный на статистике

где Fn(x) – эмпирическая функция распределения.

Если истинное значение параметра θ0 неизвестно, например, при проверке гипотезы о нормальности распределения результатов наблюдения (т.е. при проверке принадлежности этого распределения к семейству нормальных распределений), то иногда используют статистику

Она отличается от статистики Колмогорова Dn тем, что вместо истинного значения параметра θ0 подставлена его оценка θ*.

Распределение статистики Dn(θ*) сильно отличается от распределения статистики Dn. В качестве примера рассмотрим проверку нормальности, когда θ = (m, σ2), а θ* = (х̅, s2). Для этого случая квантили распределений статистик Dn и Dn(θ*) приведены на рис. 2. Видно, что квантили отличаются примерно в 1,5 раза.

Корреляция и регрессия

Целями исследования зависимости между признаками являются доказательство наличия связи между признаками и изучение этой связи. Для доказательства наличия связи между двумя случайными величинами Х и Y применяют корреляционный анализ. Если совместное распределение Х и Y является нормальным, то статистические выводы основывают на выборочном коэффициенте линейной корреляции, в остальных случаях используют коэффициенты ранговой корреляции Кендалла и Спирмена, а для качественных признаков – критерий хи-квадрат.

Основная задача регрессионного анализа состоит в оценке неизвестных параметров а и b, задающих линейную зависимость y от x. Для решения этой задачи применяют разработанный еще К.Гауссом в 1794 г. метод наименьших квадратов, т.е. находят оценки неизвестных параметров модели а и b из условия минимизации суммы квадратов

по переменным а и b.

Выбор планов эксперимента, т.е. точек xi, в которых будут проводиться эксперименты по наблюдению yi – предмет теории планирования эксперимента.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *