6.4 Выборка, ошибка и честные выводы

11 класс · Данные◷ 60–70 минут◇ БазаНужно знать: ожидание и дисперсия, правило трёх сигм, схема Бернулли, проценты

Заголовок новости: «$54\%$ жителей поддержали проект». Ниже мелким шрифтом: опрошено $1600$ человек.

В городе живёт миллион. Опросили полторы тысячи — это полторы десятых процента населения. И на основании этого делается утверждение обо всех. Звучит как подлог.

Но это не подлог. Это работающий метод — при двух условиях, которые почти никогда не пишут в заголовке.

Вопрос урока: насколько можно доверять числу, полученному по выборке, и какой вывод из него имеешь право сделать?

◎ После урока ты сможешь

• различать генеральную совокупность, выборку и оценку доли
• вычислять стандартную ошибку и границу ошибки выборки
• определять объём выборки, нужный для заданной точности
• отличать корреляцию от причинности и называть источники смещения

Прогноз до вычислений

1. Опросили $1600$ человек из миллиона. Насколько, по-твоему, результат может отличаться от истинной доли: на десятые доли процента, на пару процентов или на десять?
2. Чтобы опрос стал вдвое точнее, во сколько раз надо увеличить число опрошенных?
3. Для города в миллион жителей и для страны в сто миллионов нужны выборки одинакового объёма или разного?

Управляемый эксперимент

Пусть в населении ровно $\frac35$ сторонников. Опросим двенадцать случайных человек. Сколько из них скажут «да»?

Лаборатория нормальной модели

Откуда берётся колокол

Ни кубик, ни монета сами по себе на колокол не похожи. Увеличивай число слагаемых и смотри, как форма распределения суммы меняется сама собой.

σ = 1,697

Сумма очков на кубикахЧисло успехов в серии

Число испытаний n 12От 1 до 15; испытания независимы, вероятность успеха в каждом одна и та же.

Вероятность успеха p 3/51/2 — орёл у симметричной монеты3/5 — сторонник проекта в опросе1/4 — угадать ответ из четырёх наугад9/10 — исправная деталь на потокеЧем дальше p от 1/2, тем несимметричнее картинка и тем позже она становится похожей на колокол.

Серия из 12 независимых испытаний, вероятность успеха в каждом равна 3/5 (сторонник проекта в опросе).

?

Какая доля значений попадёт в полосу M(X) ± σ?— выбери ответ —примерно половина, около 50 %примерно две трети, около 68 %почти всё, около 95 %

Проверить

Полосы вокруг среднего: точный расчёт против нормальной модели

Полоса	Границы	Точная вероятность	Приближённо	Нормальная модель
M ± 1σ	5,5 … 8,9	?	?	0,6827
M ± 2σ	3,81 … 10,59	?	?	0,9545
M ± 3σ	2,11 … 12,29	?	?	0,9973

Точные вероятности вычислены по распределению, без всякого нормального приближения: сравнение $(x-M)^2\le k^2D$ обходится без извлечения корня. Последний столбец — то, что обещает модель; расхождение показывает, насколько модель уже пригодна.

?

Выбери прогноз для полосы M(X) ± σ и нажми «Проверить».Подсказка: посмотри, какая часть столбиков попадает внутрь выделенной полосы.

↺ Вернуть пример

Ожидание равно $12\cdot\frac35=7{,}2$ человека, но реально выпасть может и пять, и десять. Доля в такой выборке — это $\frac{X}{12}$, и она гуляет вместе с $X$. Увеличивай $n$ ползунком: горб становится острее относительно своей ширины — колебания доли уменьшаются.

Как гуляет выборочная доля

Возьмём выборки побольше. Вот двадцать независимых опросов по $100$ человек в населении, где сторонников ровно $60\%$ (расчёт воспроизводимый, у тебя получатся те же числа):

№	1	2	3	4	5	6	7	8	9	10
доля, %	$66$	$56$	$63$	$55$	$55$	$57$	$63$	$67$	$63$	$64$

№	11	12	13	14	15	16	17	18	19	20
доля, %	$54$	$57$	$53$	$59$	$58$	$57$	$62$	$60$	$60$	$54$

Ровно $60\%$ выпало лишь в двух опросах из двадцати. Разброс — от $53\%$ до $67\%$, среднее по всем двадцати опросам равно $59{,}15\%$. Это и есть ошибка выборки: она возникает не от небрежности, а от самого факта, что опрошены не все.

Хорошая новость: эта ошибка подчиняется формуле из урока 6.2.

Стандартная ошибка доли

Пусть в населении доля сторонников равна $p$, а мы опрашиваем $n$ человек независимо. Число сторонников в выборке — величина из схемы Бернулли: $M=np$, $D=np(1-p)$. Доля $\hat p=\frac{X}{n}$ получается делением на $n$, значит её дисперсия делится на $n^2$:

$D(\hat p)=\frac{np(1-p)}{n^2}=\frac{p(1-p)}{n}.$

∴ Стандартная ошибка и граница ошибки

Стандартная ошибка доли — это стандартное отклонение выборочной доли:

$\sigma_{\hat p}=\sqrt{\frac{p(1-p)}{n}}.$

При достаточно большом $n$ распределение $\hat p$ близко к нормальному, поэтому работает правило трёх сигм. Границей ошибки обычно называют две стандартные ошибки: примерно в $95\%$ опросов истинная доля отличается от выборочной не больше чем на

$\Delta=2\sqrt{\frac{p(1-p)}{n}}.$

Результат записывают в виде $\hat p\pm\Delta$ и называют доверительным интервалом.

Три следствия, которые стоит запомнить:

• ошибка убывает как $\frac{1}{\sqrt n}$: чтобы уменьшить её вдвое, выборку надо увеличить вчетверо;
• произведение $p(1-p)$ максимально при $p=\frac12$, поэтому худший случай даёт простое правило $\Delta\le\frac{1}{\sqrt n}$;
• в формуле нет численности населения. Для города и для страны при одинаковом $n$ ошибка одинакова.

Правило $\Delta\approx\frac{1}{\sqrt n}$ считается в уме: $n=400$ даёт $5$ процентных пунктов, $n=1600$ — $2{,}5$, $n=2500$ — $2$, $n=10\,000$ — $1$. Теперь понятно, откуда берётся стандартный объём социологического опроса: полторы-две тысячи человек — это точность около двух пунктов, а дальнейшее уточнение стоит непропорционально дорого.

Тот самый заголовок: 54 % из 1600Разбираем вместе

Оценка. $\hat p=0{,}54$, $n=1600$.

Стандартная ошибка. $\sigma_{\hat p}=\sqrt{\dfrac{0{,}54\cdot0{,}46}{1600}}=\sqrt{\dfrac{0{,}2484}{1600}}=\sqrt{0{,}00015525}\approx0{,}0125$, то есть $1{,}25$ процентного пункта.

Граница ошибки. $\Delta\approx2\cdot0{,}0125=0{,}025$ — два с половиной пункта.

Ответ в честной форме. Доля сторонников составляет $54\%\pm2{,}5$ пункта, то есть лежит примерно между $51{,}5\%$ и $56{,}5\%$ — с надёжностью около $95\%$.

Какой вывод отсюда следует. Весь интервал лежит выше $50\%$, поэтому утверждение «сторонников больше половины» обосновано. А вот утверждение «сторонников ровно $54\%$» — нет: точного числа опрос не даёт и дать не может.

А если бы опросили $400$ человек? Тогда $\sigma_{\hat p}=\sqrt{\dfrac{0{,}2484}{400}}\approx0{,}0249$ и $\Delta\approx5$ пунктов. Интервал $49\%\ldots59\%$ пересекает половину, и вывод «сторонников большинство» рассыпается. Те же $54\%$ в заголовке — но выводы противоположные по надёжности. Вот почему объём выборки обязан быть указан рядом с процентом.

Обратная задача: сколько человек опросить

Из $\Delta\le\frac{1}{\sqrt n}$ получаем $n\ge\frac{1}{\Delta^2}$ (для надёжности $95\%$ и худшего случая $p=\frac12$):

Нужная точность $\Delta$	$5$ п.п.	$3$ п.п.	$2$ п.п.	$1$ п.п.
Минимальный объём $n$	$400$	$1112$	$2500$	$10\,000$

Проверь по строке сам: $\frac{1}{0{,}03^2}=\frac{1}{0{,}0009}\approx1111{,}1$, поэтому берём $1112$ — объём выборки округляют только вверх.

Проверка понимания

Опрос 400 человек дал 54 % сторонников. Какой вывод корректен?

• А. Сторонников ровно 54 %
• Б. Сторонников больше половины: 54 % > 50 %
• В. Доля лежит примерно между 49 % и 59 %, поэтому вопрос о большинстве остаётся открытым

Два условия, без которых всё это не работает

Формула ошибки описывает только одну неприятность — случайное колебание. Есть вторая, куда опаснее.

∴ Репрезентативность важнее объёма

Выборка называется репрезентативной, если каждый член генеральной совокупности имел равный (или хотя бы известный) шанс в неё попасть. Только тогда $\hat p$ оценивает $p$.

Если отбор смещён, увеличение объёма не помогает: оно лишь уменьшает случайную ошибку вокруг неправильного центра. Миллион ответов от подписчиков одного канала не заменит тысячи случайно выбранных горожан.

Классические источники смещения:

• самоотбор: отвечают те, кому тема небезразлична;
• место и время опроса: в будний полдень в торговом центре нет тех, кто работает;
• отсев: из тех, кому позвонили, ответила треть — и эта треть может отличаться от остальных;
• формулировка вопроса: «Вы поддерживаете необходимые изменения?» и «Вы поддерживаете спорные изменения?» дадут разные цифры на одной и той же выборке.

Корреляция не равна причинности

Второй способ ошибиться — правильно посчитать связь и неправильно её объяснить.

Вот данные по месяцам с апреля по октябрь: продажи мороженого (тысячи порций) и число несчастных случаев на воде.

Месяц	IV	V	VI	VII	VIII	IX	X
Мороженое, тыс. порций	$18$	$24$	$31$	$45$	$58$	$66$	$71$
Несчастные случаи	$3$	$5$	$4$	$9$	$11$	$10$	$14$

Коэффициент корреляции равен $r\approx0{,}95$ — связь очень сильная и положительная. Значит ли это, что мороженое опасно?

∴ Что означает сильная корреляция

Коэффициент корреляции $r$ измеряет линейную связь двух признаков и лежит между $-1$ и $1$. Значение $r=1$ означает, что точки лежат на возрастающей прямой, $r=-1$ — на убывающей, $r\approx0$ — что линейной связи не видно.

У обнаруженной связи есть минимум четыре объяснения, и корреляция сама по себе не выбирает между ними:

1. $A$ влияет на $B$;
2. $B$ влияет на $A$ (направление могло быть перепутано);
3. на оба признака влияет общая причина $C$;
4. совпадение — особенно при малом числе наблюдений или при переборе множества пар признаков.

В примере с мороженым работает третий вариант: общая причина — жара. В жару и мороженого едят больше, и купаются чаще.

Отличить причину от связи можно не расчётом, а планом сбора данных: нужен эксперимент со случайным распределением участников по группам. Именно поэтому лекарства проверяют не наблюдением, а рандомизированными испытаниями.

Ещё пример: у школьников $7$–$14$ лет размер обуви и скорость чтения связаны почти идеально, $r\approx0{,}99$. Обувь тут ни при чём: общая причина — возраст. Как только сравнение делается внутри одного возраста, связь исчезает.

Типичная ошибка

! Четыре способа соврать, ничего не выдумывая

Первая: приводить процент без объёма выборки. «$54\%$ поддержали» — незаконченное утверждение. Без $n$ невозможно понять, $\pm2$ там пункта или $\pm10$.

Вторая: считать границу ошибки страховкой от всего. Формула $2\sqrt{\frac{p(1-p)}{n}}$ учитывает только случайность отбора. Смещённый отбор, неотвеченные звонки и наводящая формулировка вопроса в неё не входят вовсе.

Третья: объявлять значимым различие, меньшее погрешности. Рейтинг вырос с $51\%$ до $54\%$, оба опроса по $1600$ человек. Интервалы $48{,}5\ldots53{,}5$ и $51{,}5\ldots56{,}5$ сильно перекрываются: рост правдоподобен, но не доказан.

Четвёртая: превращать корреляцию в заголовок про причину. «Кофе продлевает жизнь», «телефон снижает успеваемость» — почти всегда это наблюдения, где не учтена общая причина. Проверочный вопрос один: это был эксперимент со случайным распределением по группам или наблюдение?

Практика

1. Опрошено $2500$ человек, доля сторонников $\hat p=0{,}5$. Найди стандартную ошибку и границу ошибки.
2. Во сколько раз надо увеличить выборку, чтобы граница ошибки уменьшилась втрое?
3. Какой объём выборки нужен для точности $\pm2$ пункта? А для $\pm1$ пункта?
4. Опрос $400$ человек дал $54\%$. Можно ли утверждать, что сторонников большинство?
5. Опрос $1600$ человек дал те же $54\%$. Изменится ли ответ на вопрос 4?
6. При $n=900$ и $\hat p=0{,}4$ найди границу ошибки и запиши интервал в процентах.
7. Опрос о велодорожках провели среди подписчиков велоклуба и получили $92\%$ поддержки при $n=5000$. Оцени границу ошибки и объясни, почему это число здесь бесполезно.
8. Продажи мороженого и число несчастных случаев на воде дают $r\approx0{,}95$. Назови настоящую причину связи.
9. У школьников $7$–$14$ лет размер обуви и скорость чтения дают $r\approx0{,}99$. Что здесь общая причина и как это проверить?
10. Как в принципе можно доказать, что $A$ является причиной $B$?
11. Рейтинг вырос с $51\%$ до $54\%$; оба опроса по $1600$ человек. Что можно честно сказать о росте?
12. Почему для города с миллионом жителей и для страны со ста миллионами нужна выборка примерно одного объёма?

Ответы и пояснения

1. $\sigma_{\hat p}=\sqrt{\frac{0{,}25}{2500}}=\sqrt{0{,}0001}=0{,}01$, то есть $1$ пункт; граница ошибки $\Delta=2\%$. Интервал: от $48\%$ до $52\%$.
2. Вдевятеро: ошибка убывает как $\frac{1}{\sqrt n}$, поэтому $\sqrt9=3$.
3. $n\ge\frac{1}{0{,}02^2}=2500$ и $n\ge\frac{1}{0{,}01^2}=10\,000$.
4. Нет. $\Delta=2\sqrt{\frac{0{,}54\cdot0{,}46}{400}}\approx0{,}05$, интервал $49\%\ldots59\%$ захватывает значения ниже половины.
5. Да, изменится: $\Delta\approx0{,}025$, интервал $51{,}5\%\ldots56{,}5\%$ целиком выше $50\%$. Теперь вывод о большинстве обоснован.
6. $\sigma_{\hat p}=\sqrt{\frac{0{,}4\cdot0{,}6}{900}}=\sqrt{\frac{0{,}24}{900}}\approx0{,}0163$, значит $\Delta\approx3{,}3$ пункта и интервал примерно $36{,}7\%\ldots43{,}3\%$.
7. Формально $\Delta=2\sqrt{\frac{0{,}92\cdot0{,}08}{5000}}\approx0{,}0077$, меньше одного пункта. Но выборка смещена: опрошены только те, кто уже заинтересован в велодорожках. Число $92\%$ оценивает долю среди велоклуба, а не среди горожан, и никакая точность этого не исправляет.
8. Общая причина — жара: она одновременно увеличивает и продажи мороженого, и число купающихся.
9. Общая причина — возраст. Проверка: посмотреть связь внутри одной возрастной группы — там она пропадёт.
10. Поставить эксперимент, в котором участники распределяются по группам случайно, а различается только воздействие $A$. Тогда все прочие факторы в среднем уравниваются, и разницу можно приписать именно $A$.
11. Интервалы $48{,}5\%\ldots53{,}5\%$ и $51{,}5\%\ldots56{,}5\%$ сильно перекрываются. Честная формулировка: «данные не противоречат росту, но и не доказывают его».
12. Потому что в формуле ошибки стоит только объём выборки $n$; численность населения в неё не входит (пока население во много раз больше выборки). Точность даёт не доля опрошенных, а их количество.

Итог

• Выборка даёт оценку $\hat p$, а не точное значение $p$; отклонение неизбежно и называется ошибкой выборки.
• Стандартная ошибка доли равна $\sqrt{\frac{p(1-p)}{n}}$, граница ошибки — две такие ошибки; в худшем случае $\Delta\approx\frac{1}{\sqrt n}$.
• Точность зависит от объёма выборки, а не от численности населения; уменьшение ошибки вдвое стоит учетверения выборки.
• Формула ошибки не защищает от смещённого отбора: репрезентативность важнее объёма.
• Корреляция допускает минимум четыре объяснения; причинность доказывается экспериментом со случайным распределением, а не величиной $r$.

Все инструменты главы собраны: центр, разброс, форма, оценка и границы вывода. Осталось применить их там, где на кону настоящие деньги и настоящие решения, — в практикуме.

← Нормальная модель и правило трёх сигм · Дальше: практикум →

Закончил урок?

Отметь прогресс — регистрация не нужна.

Отметить пройденным