mns2012 (mns2012) wrote in biosemiotics,
mns2012
mns2012
biosemiotics

Category:

Самое основное о статистической значимости

Поскольку при разговорах о дизайн-распознавании речь идёт о статистической значимости, считаю полезным выписать для удобства самое основное из области статистического тестирования гипотез.

Для начала -- терминология.

  • Под наблюдением x мы будем иметь в виду наблюдение функциональной сложности в организме или в его подсистемах, количество которой превышает пороговое для дизайн-распознавания. Пороговое значение выводится эмпирически, как показано моей записке "Дизайн-распознавание: Основные понятия" (там же см. определение функциональной сложности). Это пороговое значение сложности (оптимистическая для эволюции верхняя граница) составляет 140 функциональных бит. Оно отражает максимум возможностей эволюции при множестве благоприятных для неё допущений.

  • Под нулевой гипотезой H0 объяснения наблюдения x имеется в виду эволюционная или иная гипотеза, не привлекающая деятельность внешнего интеллектуального агента: H0: ДИЗАЙН(x) = False.

  • И, наконец, под альтернативной гипотезой H1 мы будем подразумевать гипотезу дизайна: H1: ДИЗАЙН(x) = True.

Измерение функциональной сложности

Отдельно следует сказать о методиках измерения функциональной сложности. Поскольку базовый уровень организации живого -- молекулярный (биохимический), пока не будет ясной картины на уровне белковой функции, рассматривать сложность организации тканей, органов, систем органов и всего организма особого смысла нет.


  • Комментатор gpuccio предлагает производить сравнительный анализ одних и тех же белков в различных организмах (по возможности по всей филогении или, по кр. мере, по значительной части биоты). При обнаружении консервативных участков линейной структуры некоторого белка в организмах А и В, делается предположение о том, что данный участок функционален (и отбор действует на него очищающим образом). Далее с помощью программы Blast делается подсчёт количества бит информации в этом общем участке линейной структуры белка.

  • Durston et al. 2007 [Measuring the functional sequence complexity of proteins] предложили свой метод подсчёта функциональной информации в первичной структуре белка, которая вычисляется как сумма информационных дельт по каждой позиции последовательности аминокислот. Метод тестировался по величине корреляции расположения пиков функциональной информации с известными из лабораторных экспериментов активными участками белковых молекул. 

Статистическая значимость

В статье из википедии Статистическая значимость читаем:

В статистике величину (значение) переменной называют статисти́чески зна́чимой, если мала вероятность случайного возникновения этой или ещё более крайних величин [при имеющемся распределении -- mns2012]. Здесь под крайностью понимается степень отклонения тестовой статистики от нуль-гипотезы.

Общая картина проблемы такова: дана выборка из некоторого пространства Ω элементарных событий (например, список пациентов, прошедших обследование на некоторую болезнь) и, возможно, значения на этой выборке некоторых переменных (функций от ω ∈ Ω, например — возраст пациента, интенсивность курения, количество часов физических упражнений и т. п.). Вероятностное распределение на Ω не известно, а, наоборот, является здесь главным объектом поиска.

Различные гипотезы соответствуют различным возможным вероятностным распределениям на Ω . Точный смысл термина «гипотеза» — набор утверждений, который содержит полное описание некоторого вероятностного распределения.

Проверка гипотезы

Проверка гипотезы H (задающей вероятностное распределение PH) состоит в следующем. Выбирается событие S ∈ Ω (называемое статистическим критерием), которое (по каким-либо соображениям) «почти несовместимо» с гипотезой H в том смысле, что условная вероятность PH(S) события S (при условии, что гипотеза H верна) не превышает какого-то малого (по сравнению с единицей) числа α, называемого уровнем значимости: PH(S) ≤ α. Затем проводится опыт. Если событие S происходит, то гипотеза H отвергается (говорят, что наблюдается отклонение от гипотезы на уровне значимости α). В противном случае, гипотеза не отвергается (однако никакой метод статистики, ни даже науки в целом, не может «окончательно доказать» гипотезу).

Таким образом, уровень α значимости теста — вероятность отклонить гипотезу H, если на самом деле она верна (решение известное как ошибка первого рода, или ложноположительное решение).

Популярными уровнями значимости являются 10%, 5%, 1%, и 0.1%.

Различные значения α-уровня имеют свои достоинства и недостатки. Меньшие α-уровни дают бо́льшую уверенность в том, что уже установленная альтернативная гипотеза значима, но при этом есть больший риск не отвергнуть ложную нулевую (или отвергнуть истинную альтернативную) гипотезу (ошибка второго рода, или «ложноотрицательное решение»), и таким образом меньшая статистическая мощность. Выбор α-уровня неизбежно требует компромисса между значимостью и мощностью, и следовательно между вероятностями ошибок первого и второго рода.

При использовании тестов на статистическую значимость нужно иметь в виду, что тест вовсе не дает оснований для принятия гипотезы.


Разбираемся с подчёркнутым мной выше: почему между ошибками первого и второго рода существует компромисс?

Статистическая мощность

Читаем статью Статистическая мощность в википедии.

Величина мощности при проверке статистической гипотезы зависит от следующих факторов:

  • величины уровня значимости, обозначаемого греческой буквой α, на основании которого принимается решение об отвержении или принятии альтернативной гипотезы;

  • величины эффекта (то есть разности между сравниваемыми средними);

  • размера выборки, необходимой для подтверждения статистической гипотезы.

Основные параметры для определения мощности показаны на схеме.


Смысл величин α и β. Источник -- Википедия.

Уровень значимости α выбирается исследователем и определяет вероятность совершения ошибки первого рода. Вероятность того, что альтернативная гипотеза верна, но решение принимается в пользу нулевой гипотезы (ошибка второго рода), обозначается греческой буквой β. Тогда вероятность принятия правильного решения при истинной альтернативной гипотезе (мощность) равна 1-β.

При известном стандартном отклонении генеральной совокупности и заданном уровне значимости α = 0.05 мощность 1-β можно вычислить с использованием Z-критерия по формуле

1 - β = P(Z > (μ0 + 1.64 SE- μ1)/ SE),

где μ0 есть среднее при нулевой гипотезе, μ1 — среднее при альтернативной гипотезе, 1.64 — величина критического значения Z-статистики при одностороннем Z-тесте, и SE = standard error — стандартная ошибка.

Величина эффекта определяет вероятность совершения ошибки второго рода. Коэффициент величины эффекта называется мерой эффекта d. Был введён в употребление Дж. Коэном и вычисляется как отношения разности между сравниваемыми средними к стандартному отклонению d= ( μ0 - μ0) / σ

Размер выборки, необходимой для подтверждения статистической гипотезы, влияет на статистическую мощность, так как с увеличением выборки уменьшается стандартная ошибка, а следовательно, увеличивается мощность.


То есть при нормальных распределениях (по рисунку) действительно получается, что чем меньше α, тем больше β (и, следовательно, тем меньше 1 - β).

Z-тест и Z-статистика

Читаем статью Z-тест в википедии.

Z-тест (z-критерий Фишера) — класс методов статистической проверки гипотез (статистических критериев), основанных на нормальном распределении. Обычно применяется для проверки равенства средних значений при известной дисперсии генеральной совокупности или при оценке выборочного среднего стандартизованных значений. Z-статистика вычисляется как отношение разницы между случайной величиной и математическим ожиданием к стандартной ошибке этой случайной величины:

z = (X̄ - μ) / SE

где X̄ — случайная величина выборочного среднего, μ — значение математического ожидания, SE — стандартная ошибка этой величины.

Методика применения


Для применения данного критерия необходимо, чтобы исходные данные имели нормальное распределение и была известна дисперсия генеральной совокупности. Z-тест применяется при проверке нулевой гипотезы о том, что математическое ожидание случайной величины равно некоторому значению m: H0: μx = m. Исходя из принципа независимости наблюдения, дисперсия выборочного среднего определяется как V(X̄) = σ2 / n. Тогда значение z-статистики вычисляется по формуле

z = (X̄ - m H0) / (σ / √n),

где σ — известная величина стандартного отклонения генеральной совокупности и n — объём выборки.

При превышении критического значения z (например, z < −1.96 или z > 1.96 при уровне значимости 0.05), нулевая гипотеза отвергается и соответствующее значение рассматриваемой случайной переменной считается статистически значимым.
Tags: номенклатура, определения, статистика, статистическая значимость, статистическое тестирование гипотез
Subscribe

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic
  • 0 comments