6.3 Полная вероятность и формула Байеса

10 класс · Вероятность◷ 60–70 минут◇ БазаНужно знать: условная вероятность, правило умножения, независимость

Болезнь встречается у одного человека из ста. Тест на неё почти хороший: он находит болезнь у $90\%$ больных и не тревожит $90\%$ здоровых.

Человек прошёл тест. Результат положительный.

Вопрос урока: какова вероятность, что он действительно болен?

Запиши свой ответ прямо сейчас — одним числом. Большинство отвечает «около $90\%$». Правильный ответ отличается от этого примерно в десять раз.

◎ После урока ты сможешь

• разбивать опыт на полную группу гипотез и применять формулу полной вероятности
• разворачивать условие формулой Байеса
• считать через природные частоты и объяснять результат целыми числами людей
• оценивать влияние базовой доли на итоговый ответ

Эксперимент

Проще всего не спорить о процентах, а взять $10\,000$ человек и разложить их по клеткам. Численность группы в лаборатории подобрана так, чтобы все четыре числа получились целыми: округлений здесь нет.

Лаборатория условной вероятности

Природные частоты: тест на редкую болезнь

Вместо процентов и формул — живые люди. Группа раскладывается по четырём клеткам целыми числами, и условная вероятность считается делением одного числа на другое.

10 000 человек

Как часто встречается болезнь1 из 20 — 5 % населения1 из 100 — 1 % населения1 из 200 — 0,5 % населения1 из 1000 — 0,1 % населенияБольных в группе: 100 из 10 000.

Чувствительность: тест находит больного80 %90 %95 %99 %Из 100 больных тест поймает 90.

Специфичность: тест не тревожит здорового80 %90 %95 %99 %Из 9 900 здоровых тест ошибётся на 990.

Численность группы подобрана так, чтобы все четыре числа получились целыми: ни одного округления.

Таблица частот: 10 000 человек в мысленной группе

	тест положительный	тест отрицательный	Всего
болен	90	10	100
здоров	990	8 910	9 900
Всего	1 080	8 920	10 000

Итоги строк и столбцов — это частоты событий по отдельности, а четыре внутренние клетки — частоты пересечений.

?

Чему равна вероятность того, что человек с положительным тестом действительно болен? Запиши обыкновенной дробью (например 1/12) или десятичной с тремя знаками

Проверить

?

Чему равна вероятность того, что человек с положительным тестом действительно болен?Подсказка: условие сужает группу до одного столбца. Раздели число объектов в нужной клетке на итог этого столбца — и не путай его с итогом строки.

↺ Вернуть пример

Посчитай сам, прежде чем нажать «Проверить». Затем сделай болезнь более редкой и посмотри, что произойдёт с ответом.

Полная группа гипотез

Опыт часто устроен в два шага: сначала «что-то произошло за кулисами», потом мы видим результат. Первый шаг задаёт гипотезы $H_1,\ H_2,\ \ldots,\ H_n$ — попарно несовместные события, одно из которых обязательно происходит:

$P(H_1)+P(H_2)+\ldots+P(H_n)=1.$

В задаче о тесте гипотез две: «человек болен» и «человек здоров».

∴ Формула полной вероятности

Если $H_1,\ldots,H_n$ — полная группа гипотез и все их вероятности положительны, то для любого события $A$

$P(A)=P(H_1)P(A\mid H_1)+P(H_2)P(A\mid H_2)+\ldots+P(H_n)P(A\mid H_n).$

Каждое слагаемое — вероятность пути «сначала гипотеза, потом событие» по правилу умножения; сложение работает потому, что пути несовместны.

Для теста возьмём $A$ — «результат положительный»:

$P(A)=\underbrace{0{,}01\cdot0{,}9}_{\text{болен и найден}}+\underbrace{0{,}99\cdot0{,}1}_{\text{здоров и ложная тревога}}=0{,}009+0{,}099=0{,}108.$

Уже здесь видно главное: второе слагаемое в одиннадцать раз больше первого. Здоровых очень много, и даже редкая ошибка среди них даёт больше положительных результатов, чем все больные вместе взятые.

Формула Байеса

Осталось развернуть условие: мы знаем $P(A\mid H)$, а нужна $P(H\mid A)$.

∴ Формула Байеса

Для полной группы гипотез и события $A$ с $P(A)>0$

$P(H_i\mid A)=\frac{P(H_i)\,P(A\mid H_i)}{P(A)}=\frac{P(H_i)\,P(A\mid H_i)}{\sum_k P(H_k)\,P(A\mid H_k)}.$

Это не новая теорема, а определение условной вероятности, в котором числитель раскрыт правилом умножения, а знаменатель — формулой полной вероятности.

Считаем:

$P(\text{болен}\mid +)=\frac{0{,}01\cdot0{,}9}{0{,}108}=\frac{0{,}009}{0{,}108}=\frac{9}{108}=\frac{1}{12}\approx0{,}083.$

Около восьми процентов. Не девяносто.

Те же 8 % на живых людяхРазбираем вместе

Возьмём $10\,000$ человек — и ни одной десятичной дроби.

Шаг 1. Кто болен. Болезнь у одного из ста: больных $100$, здоровых $9\,900$.

Шаг 2. Что покажет тест больным. Тест находит $90\%$ больных: $90$ положительных, $10$ пропусков.

Шаг 3. Что покажет тест здоровым. Тест спокоен у $90\%$ здоровых: $8\,910$ отрицательных, значит $990$ ложных тревог.

Шаг 4. Собираем таблицу.

	тест «+»	тест «−»	всего
болен	$90$	$10$	$100$
здоров	$990$	$8\,910$	$9\,900$
всего	$1\,080$	$8\,920$	$10\,000$

Шаг 5. Условие оставляет один столбец. Положительный результат получили $1\,080$ человек, и болен из них только $90$:

$P(\text{болен}\mid +)=\frac{90}{1\,080}=\frac{1}{12}\approx0{,}083.$

Что изменил тест. До теста вероятность болезни была $\frac{1}{100}$, после положительного результата стала $\frac{1}{12}$ — выросла примерно в восемь раз. Тест полезен: он сильно сдвинул вероятность. Но до уверенности ей далеко, и врач назначит уточняющее обследование, а не лечение.

А вот отрицательный результат почти всё решает: $P(\text{здоров}\mid -)=\dfrac{8\,910}{8\,920}=\dfrac{891}{892}\approx0{,}9989$.

Два завода: полная вероятность и разворотРазбираем вместе

На склад поступают детали: $60\%$ с первого завода, $40\%$ со второго. Брак у первого — $2\%$, у второго — $5\%$.

Полная вероятность. Гипотезы: $H_1$ — деталь с первого завода, $H_2$ — со второго. Событие $A$ — деталь бракованная.

$P(A)=0{,}6\cdot0{,}02+0{,}4\cdot0{,}05=0{,}012+0{,}020=0{,}032.$

Разворот. Взяли бракованную деталь. Откуда она вероятнее?

$P(H_1\mid A)=\frac{0{,}012}{0{,}032}=\frac{3}{8}=0{,}375,\qquad P(H_2\mid A)=\frac{0{,}020}{0{,}032}=\frac{5}{8}=0{,}625.$

Проверка. Сумма апостериорных вероятностей равна $1$ — так и должно быть: бракованная деталь откуда-то пришла.

Смысл. До проверки шансы были $3:2$ в пользу первого завода, после обнаружения брака стали $3:5$ в пользу второго. Информация перевернула картину, хотя первый завод по-прежнему поставляет больше деталей.

Проверка понимания

Тест находит 90 % больных, но P(болен | тест положительный) оказалась всего 1/12. Почему?

• А. Потому что тест плохой
• Б. Потому что здоровых в 99 раз больше, и 10 % ошибок среди них дают 990 ложных тревог против 90 верных
• В. Потому что 1/12 и есть вероятность болезни

Типичная ошибка

! Игнорировать базовую долю

Самая частая ошибка в задачах на Байеса — оставить в поле зрения только точность теста и забыть, насколько редким было событие до всякой проверки.

Формула Байеса устроена как весы: числитель — вклад «редкой, но точно распознаваемой» гипотезы, знаменатель — сумма вкладов всех гипотез. Если гипотеза редкая, её вклад может проиграть даже небольшой доле ошибок на огромной массе остальных случаев.

Практическое правило: сначала посчитай, сколько объектов даёт каждая гипотеза, и только потом дели. Природные частоты не дают забыть про базовую долю — она видна как размер второй строки таблицы.

Вторая ошибка — считать, что знаменатель формулы Байеса это $P(A\mid H_i)$ или $P(H_i)$. В знаменателе всегда стоит полная вероятность события $A$, собранная по всем гипотезам.

Практика

1. В первой урне $3$ белых и $1$ чёрный шар, во второй — $1$ белый и $3$ чёрных. Наугад выбирают урну, затем шар. Найди вероятность того, что шар белый.
2. В условиях задачи 1 вынутый шар оказался белым. Какова вероятность, что его достали из первой урны?
3. Склад: $60\%$ деталей с первого завода (брак $2\%$) и $40\%$ со второго (брак $5\%$). Найди вероятность брака и вероятность того, что бракованная деталь пришла со второго завода.
4. Болезнь встречается у одного человека из $200$. Тест находит $99\%$ больных и не тревожит $99\%$ здоровых. Возьми группу в $20\,000$ человек, заполни таблицу и найди $P(\text{болен}\mid +)$.
5. В условиях задачи 4 найди $P(\text{здоров}\mid -)$.
6. Три цеха дают $50\%$, $30\%$ и $20\%$ продукции с долями брака $1\%$, $2\%$ и $5\%$. Найди вероятность брака и вероятность того, что бракованное изделие сделано в третьем цехе.
7. На экзамене $25$ билетов, студент выучил $20$. Он тянет билет вторым. Какова вероятность, что билет ему знаком?
8. Известно, что $P(H)=0{,}2$, $P(A\mid H)=0{,}9$, $P(A\mid\bar H)=0{,}1$. Найди $P(H\mid A)$.
9. Объясни числами, почему при редкой болезни даже точный тест даёт много ложных тревог.
10. Тест из урока ($90\%$ и $90\%$) применили там, где болезнь встречается у одного человека из десяти. Чему теперь равна $P(\text{болен}\mid +)$?

Ответы и пояснения

1. $P(\text{белый})=\frac{1}{2}\cdot\frac{3}{4}+\frac{1}{2}\cdot\frac{1}{4}=\frac{3}{8}+\frac{1}{8}=\frac{1}{2}$.
2. $P(\text{первая}\mid\text{белый})=\dfrac{3/8}{1/2}=\dfrac{3}{4}$.
3. $P(\text{брак})=0{,}6\cdot0{,}02+0{,}4\cdot0{,}05=0{,}032$; $P(\text{второй}\mid\text{брак})=\dfrac{0{,}020}{0{,}032}=\dfrac{5}{8}=0{,}625$.
4. Больных $100$: тест находит $99$, пропускает $1$. Здоровых $19\,900$: спокоен у $19\,701$, ошибается на $199$. Положительных всего $99+199=298$, поэтому $P(\text{болен}\mid +)=\dfrac{99}{298}\approx0{,}332$.
5. Отрицательных $19\,701+1=19\,702$, из них здоровы $19\,701$: $P(\text{здоров}\mid -)=\dfrac{19\,701}{19\,702}\approx0{,}99995$.
6. $P(\text{брак})=0{,}5\cdot0{,}01+0{,}3\cdot0{,}02+0{,}2\cdot0{,}05=0{,}005+0{,}006+0{,}010=0{,}021$; $P(\text{третий}\mid\text{брак})=\dfrac{0{,}010}{0{,}021}=\dfrac{10}{21}\approx0{,}476$.
7. Гипотезы по первому билету: $P(\text{знакомый}) = \frac{20}{25}\cdot\frac{19}{24}+\frac{5}{25}\cdot\frac{20}{24}=\frac{380+100}{600}=\frac{480}{600}=\frac{4}{5}$. Столько же, сколько у первого студента: очередь не влияет.
8. $P(A)=0{,}2\cdot0{,}9+0{,}8\cdot0{,}1=0{,}18+0{,}08=0{,}26$; $P(H\mid A)=\dfrac{0{,}18}{0{,}26}=\dfrac{9}{13}\approx0{,}692$.
9. Из $10\,000$ человек больных всего $100$, здоровых $9\,900$. Даже $10\%$ ошибок на здоровых — это $990$ человек, а всех верно найденных больных только $90$. Ложных тревог оказывается в одиннадцать раз больше.
10. Из $10\,000$ человек больных $1\,000$: тест находит $900$. Здоровых $9\,000$: ложных тревог $900$. Значит $P(\text{болен}\mid +)=\dfrac{900}{1\,800}=\dfrac{1}{2}$. Тест тот же — ответ другой, потому что изменилась базовая доля.

Итог

• Полная группа гипотез разбивает опыт на несовместные сценарии, сумма вероятностей которых равна $1$.
• Формула полной вероятности собирает $P(A)$ из вкладов $P(H_i)P(A\mid H_i)$.
• Формула Байеса разворачивает условие: $P(H_i\mid A)=\dfrac{P(H_i)P(A\mid H_i)}{P(A)}$.
• Природные частоты — тот же расчёт целыми числами людей; они не дают забыть про базовую долю.

Пока мы считали вероятности отдельных событий. Но у опыта часто есть числовой результат — число попаданий, сумма очков, выигрыш. Такой результат описывают целой таблицей вероятностей: это дискретное распределение.

← Независимость событий · Дальше: дискретные распределения →

Закончил урок?

Отметь прогресс — регистрация не нужна.

Отметить пройденным