Оригинальный текст,2003: An Intuitive Explanation of Bayes' Theorem

Черновой перевод, 2013, С.Щеглов

На странице имеются java-applet'ы образца 2003 года, которые в наши дни не считаются безопасными, их запуск нужно подтвердить вручную.

Элиезер Юдковски
Наглядное объяснение теоремы Байеса

Теорема Байеса
для любознательных и озадаченных;
беспощадно щадящее знакомство.


Ваши друзья и сослуживцы говорят о чем-то под названием "Теорема Байеса" или "Правило Байеса", или даже о "байесианском мышлении".  Им реально нравится эта штука, так что Вы тоже лезете в гугль, находите веб-страницу про "Теорему Байеса" и...

Оказывается, это уравнение.  И все.  Просто одно уравнение.  Найденная Вами страница дает математические определения, но не говорит, что это такое, как его использовать и почему оно так нравится Вашим друзьям.  Всего лишь еще одна формула из теории вероятности.

Тогда Вы приходите сюда.  Возможно, Вы не понимаете, что означает уравнение.  Возможно, Вы понимаете его в теории, но каждый раз, когда пытаетесь применить его на практике, Вы путаетесь, пытаясь вспомнить, чем отличается p(a|x) от p(x|a), и где находится p(a)*p(x|a) - в числителе или в знаменателе.  Возможно Вы знаете теорему, понимаете ее, и даже умеете применять на практике - но Вы не понимаете, почему Ваши знакомые считают ее ключом ко всем тайнам Вселенной.  Возможно все Ваши друзья носят футболки с теоремой Байеса, и Вы чувствуете, что что-то пропустили.  Возможно, Вы девушка в поисках бойфренда, но парень, на которого Вы положили глаз, до сих пор отказывал всем кто "Не байесианец".  Все это значит, что Байес крут, и если Вы не знаете Байеса, Вы сами не круты.

Почему математическая формула породила столь странный энтузиазм среди своих почитателей?  Что за "байесианская революция" распространяется сейчас по всем наукам, претендуя даже на то, чтобы включить в себя экспериментальный метод как частный случай?  В чем секрет приверженцев байесианского знания?  Свет какой истины отражается в их глазах?

Еще немного, и Вы узнаете.  Еще немного, и Вы станете одним из нас.

Хотя в Сети есть несколько (немного!) онлайновых объяснений теоремы Байеса, мой опыт с попытками познакомить кого-либо с байесианским мышлением говорит о том, что все они слишком абстрактны.  Байесианское мышление очень контринтуитивно.  Люди не могут применять байесианское мышление автоматически, находят его весьма трудным в изучении, и быстро забывают байесианские методы после его окончания.  Этот блок (барьер?) равно справедлив и для начинающих студентов, и для опытных профессионалов в полевых условиях.  Несомненно, байесианское мышление - одна из тех вещей, которые, подобно квантовой механике или селективному тесту Вейсона, по самой своей природе трудно ухватываются нашими встроенными мыслительными способностями.

Или так считается.  Здесь Вы найдете попытку провести наглядное разъяснение байесианского мышления - беспощадно щадящее знакомство, задействующее все возможные пути для понимания чисел, от целочисленных частот до пространственных визуализаций.  Цель - передать Вам не абстрактные правила по манипуляции числами, но то, что эти числа означают, и почему правила именно таковы (и не могут быть никакими другими).  Когда Вы закончите читать эту страницу, Вы будете видеть байесианские проблемы в даже своих снах.

Итак, приступаем.



Вот ситуация, с которой часто сталкиваются врачи:

1% женщин в возрасте 40 лет, участвовавших в регулярных обследованиях, имеют рак груди.  80% женщин с раком груди имеют положительный результат маммографии.  9.6% здоровых женщин также получают положительный результат (маммография, как любые измерения, не дает 100% результатов).  Женщина-пациент из этой возрастной группы получила положительный результат на регулярном обследовании.  Какова вероятность того, что она фактически больна раком груди?

Каков по-Вашему ответ?  Если Вы раньше не сталкивались с такого рода задачами, пожалуйста, сформулируйте свой собственный вариант ответа, прежде чем читать дальше.



Теперь предположим, что я скажу Вам: большинство докторов дают неверный ответ - обычно лишь около 15% врачей способны решить задачу правильно.  ("В самом деле?  15%?  Это реальные данные, или городская легенда, основанная на опросах в Интернете?"  Да, это реальные данные.  См. Casscells, Schoenberger, and Grayboys 1978; Eddy 1982; Gigerenzer and Hoffrage 1995; и многие другие статьи.  Это удивительный результат, который однако легко воспроизводится, и потому воспроизводится в широких масштабах.)

Не хотите теперь немного подумать над Вашим решением?  Вот Javascript калькулятор, на случай если он Вам нужен.  Он обеспечивает обычные правила вычислений, умножение перед сложением и так далее.  Если Вы сомневаетесь в порядке вычислений, я предлагаю использовать скобки.

Calculator: Result:


В случах с приведенной выше задачей большинство врачей оценивают вероятность между 70% и 80%, что совершенно неправильно.

Вот другая версия той же задачи, с которой врачи справляются несколько лучше::

10 из 1000 женщин в возрасте 40 лет, участвовавших в регулярных обследованиях, имеют рак груди.  800 из 1000 женщин с раком груди имеют положительный результат маммографии.  96 из 1000 здоровых женщин также имеют положительный результат маммографии.  Если 1000 женщин данного возраста пройдут регулярное обследование, какая часть из получивших положительный результат маммографии будет реально больна раком груди?

Calculator: Result:


И наконец, вот задача, с которой врачи справляются лучше всего, в 46% - почти половине! - случаев давая правильный ответ:

100 из 10,000 женщин в возрасте 40 лет, участвующих в регулярных обследованиях, имеют рак груди.  80 из каждых 100 женщин с раком груди получают положительный результат маммографии.  950 из оставщихся  9,900 здоровых женщин также получают положительный результат маммографии.  Если 10,000 женщин этого возраста пройдут обследование, какая часть из получивших положительный результат будет реально больна раком груди?

Calculator: Result:


Правильный ответ - 7.8%, и получается он так:  Из 10,000 женщин, 100 больны раком груди; 80 из этих 100 имеет положительные маммограммы.  Из тех же 10,000 женщинn, 9,900 не имеют рака груди, и из этих 9,900 женщин 950 тоже получат положительные маммограммы.  Таким образом, общее число женщин с положительными маммограммами 950+80 то есть 1,030.  Из этих 1,030 женщин с положительными маммограммами, 80 реально больны раком.  Вычисляя, пропорцию, мы получаем 80/1,030, или 0.07767, то есть 7.8%.

Иначе говоря, перед маммографическим обследованием, 10,000 женщин можно разделить на две группы:
В сумме эти группы составляют 10,000 пациенток, подтверждая, что мы никого не потеряли при подсчетах.  После маммографии женщин можно разделить уже на четыре группы:
Calculator: Result:
Можете проверить, сумма по всем четырем группам все еще 10,000.  Сумма групп A и B, групп больных раком груди, соответствует группе 1; и сумма групп C и D, групп здоровых женщин, соответствует группе 2; так что применение маммографии реально не меняет количество женщин с раком груди.  Доля больных раком пациенток (A + B) в их общем количестве (A + B + C + D) та же самая - 1% - как предшествующая маммографии вероятность их там обнаружить: (80 + 20) / (80 + 20 + 950 + 8950) = 100 / 10000 = 1%.

Доля больных раком пациенток с положительным результатом маммографии в группе всех пациенток с положительными результатами, это доля (A) в (A + C):   80 / (80 + 950) = 80 / 1030 = 7.8%.  Если Вы примените маммографию к 10,000 пациенток, Вы получите 1030 положительных результатов, лишь 80 из которых будут принадлежать пациенткам, реально больным раком.  Это правильный ответ, ответ, который врачи должны давать пациенткам с положительными маммограммами, когда они спрашивают о своих шансах на наличие рака груди; если тринадцать пациенток задают этот вопрос, приблизительно 1 из этих 13 будет больна раком.



Ошибкой, которая постоянно совершается в этой задаче, является игнорирование наличия двух групп - действительно больных раком и здоровых, получающих ложноположительные результаты теста, - и фокусирование только на группе больных и получивших положительные результаты.  Например, абсолютное большинство врачей в уже упоминавшихся исследованиях полагают, что если около 80% женщин с раком груди имеют положительные маммограммы, то и вероятность для женщины с положительной маммограммой быть больной раком тоже около 80%.

Правильное вычисление окончательного ответа требует всех трех условий задачи - процента женщин с раком груди, процента здоровых женщин с ложноположительными результатами теста, и процента женщин с раком груди, получивших истинно положительные маммограммы.

Понять, что окончательный ответ всегда зависит от исходной доли женщин с раком груди, можно на примере альтернативной вселенной, где только одна женщина на миллион больна этим раком.  Если маммография и в этом мире выявляет рак груди в 8 случаях из 10, давая одновременно ложноположительный результат только в 1 случае из 10, это будет означать сотни тысяч ложноположительных результатов на каждый реально диагностированный рак.  Первоначальная вероятность, что женщина больна раком груди, настолько мала, что хотя положительный результат маммографии и увеличивает ожидаемую вероятность, эта вероятность не увеличивается до уверенности или хотя бы до "заметного шанса"; вероятность растет лишь с 1:1,000,000 до 1:100,000.

Аналогично, в альтернативной вселенной, где только одна из миллиона женщин не больна раком груди, положительный результат маммографии вовсе не означает, что пациентка имеет 80% шансов оказаться больной!  Ведь в этом случае ее ожидаемая вероятность оказаться больной существенно уменьшилась бы после получения положительного результата маммографии - 80% шанс значительно меньше 99.9999%!  Если вы организуете обследование десяти миллионов женщин в таком мире, приблизительно восемь миллионов женщин получат истинно-положительные результаты, и в то же время одна (из десяти) женщина без рака груди получит ложноположительный результат.  Таким образом, если вы получаете положительный результат в этом мире, ваши шансы оказаться больным поднимаются с 99.9999% до to 99.999987%.  Иными словами, ваши шансы оказаться здоровым снижаются с 1:1,000,000 до 1:8,000,000.

Два этих полярных примера помогают понять, что результаты маммографии не заменяют вашу прежнюю информацию о шансах пациента быть больным раком; маммография лишь сдвигает ожидаемую вероятность в направлении своего результата.  Положительный результат сдвигает первоначальную вероятность вверх, отрицательный - вниз.  Например, в нашей первой задаче, где 1% женщин болеют раком, 80% больных раком получают положительные результаты маммографии, и 9.6% здоровых женщин получают ложноположительные результаты, положительный результат маммографии сдвигает 1% шанс до 7.8% шанса.

Большинство людей, сталкивающихся с задачами подобного типа, первоначально "воплощают в жизнь ментальную ориентацию" of замещать исходную 1% вероятность на 80% вероятность для больных раком получить положительную маммограмму.  Это может выглядеть как неплохая идея, но это абсолютно не работает.  "Вероятность, что женщина с положительной маммограммой больна раком груди" не то же самое, что "вероятность, что женщина с раком груди получит положительные результаты маммографии"; они разные, как яблоки и сыр.  Поиск окончательного ответа на "Вероятность, что женщина с положительной маммограммой больна раком груди" использует все три условия задачи - "априорная (до-опытная, первоначальная) вероятность, что женщина больна раком", "вероятность, что женщина с раком груди получит положительную маммограмму" и "вероятность, что женщина без рака груди получит положительную маммограмму".



Забавный
факт!
Вопрос.  Что такое Байесианский Заговор?
Ответ.  Байесианский Заговор - многонациональная, междисциплинарная и действующая в тени группа ученых, контролирующая публикации, гранты, пожизненные профессорские должности и незаконный ввоз аспирантов (?).  Лучший способ быть принятым в Байесианский Заговор - присоединиться к Университетскому Крестовому Походу за Байеса еще в школе или в колледже, и постепенно повышать градус посвящения.  Ходят слухи, что на верхних уровнях Байесианского Заговора существуют девять молчаливых фигур, известных как Байесианский Совет.



Увидеть, что окончательный ответ всегда зависит от шанса здоровой женщины получить положительную маммограмму, рассмотрим альтернативный тест, маммографию+.  Как и исходный тест, маммография+ дает 80% положительных результатов для женщин с раком груди.  Однако, маммография+ дает положительный результат только для одной из миллиона здоровых женщин - то есть маммография+ имеет тот же уровень ложноотрицательных результатов, но безмерно более низкий уровень ложноположительных.  Предположим, пациентка получила положительную маммограмму+.  Каков шанс, что она действительно больна раком груди?  По итогам нового теста, это практически достоверно - 99.988%, то есть лишь 1 шанс из 8082 оказаться здоровой.

Calculator: Result:
На этом месте вспомним, что ни маммография, ни маммография+ реально не меняют количество женщин, больных раком груди.  Может показаться, что "Есть абсолютная уверенность, что вы больны раком" - ужасные слова, причиняющие много горя и отчания; что оставляющее больше надежды заключение предыдущего теста - 7.8% шансов на рак груди - куда более предпочтительно.  Но это лишь вариация на старую тему - "Убить гонца, принесшего дурные вести".  Количество женщин, реально больных раком, остается абсолютно одинаковым в обоих случаях.  Только точность, с которой мы диагностируем рак, изменяется.  По первому из маммографических тестов, 80 женщин из 10000, больных раком (которые уже больны раком, еще до маммографии) сначала узнают, что они имеют 7.8% шансов оказаться больными, что создает X беспокойств и страхов, после чего более точные тесты сообщают им, что они действительно больны.  Но вместе с тем первый маммографический тест уведомляет 950 здоровых женщин, что они с 7.8% вероятностью больны раком, что создает 12*X дополнительных страхов и беспокойств.  Новый тест, маммография+, не дает 950 женщинам ложноположительных результатов, а 80 женщин, больных раком, узнают то же самое, что и в первом случае, но значительно раньше и без промежуточного периода неуверенности.  Маммография+ оказывается лучшим тестом в отношении общего эмоционального воздействия на пациентов, так же как и лучшим по точности.  Вне зависимости от эмоционального воздействия, положительная маммограмма+ означает для пациента 99.988% шансов оказаться больным раком.

Разумеется, то, что маммография+ не дает 950 здоровым женщинам ложноположительные результаты, означает, что все 80 пациенток с положительными маммограммами+ будут больны раком.  Если вы получили положительную маммограмму+, ваши шансы оказаться больным - практически достоверны.  Именно потому, что маммография+ не порождает так много ложноположительных результатов (и напрасных переживаний), много меньшая по численности группа пациентов,получивших положительные результаты, почти полностью войдет в состав действительно больных раком (что будет для них плохой новостью независимо от того, когда они ее получат).



Аналогично, предположим, что мы располагаем менее селективным тестом, маммографией*, который имеет те же 20% ложноотрицательных результатов, что и исходная маммография.  Однако, маммография* дает 80% вероятность ложноположительного результата.  Другими словами, здоровая пациентка имеет 80% получить ложный положительный результат, пройдя маммографию*.  Если мы предположим ту же 1% исходную вероятность для проходящих обследование оказаться больными, каковы шансы, что пациентка с положительной маммограммой* больна раком?
После обследования маммографией*:
Calculator: Result:
Результат - 80 / 8,000, или 0.01.  Это в точности тот же самый 1% исходной вероятности рака груди!  Положительный результат маммографии* нисколько не меняет вероятность пациентки оказаться больной раком груди.  Вы можете также проверить, что и отрицательная маммограмма* ничего не меняет.  И так и должно быть, поскольку если маммография* дает 80% положительных результатов для пациенток с раком груди, и те же 80% положительных результатов для пациенток без рака груди, то такая маммография* абсолютно не связана с собственно раком (и измеряет что-то другое).  Так что нет смысла называть результаты такого теста "положительными" или "отрицательными" (в смысле диагностики рака); фактически, нет даже смысла называть такую процедуру "маммографией".  Вы можете выбросить на свалку ваше дорогостоящее оборудование для маммографии* и заменить его генератором случайных чисел, который в 80% случаев зажигает красную лампочку, а в 20% случаев - зеленую; результат будет тем же самым.  И в этом случае бессмысленно называть красный свет "положительным" результатом, а зеленый - "отрицательным"; вы можете зажигать зеленую лампочку в 80% случаев, а красную в 20%, или зажигать синюю в 80% и лиловую в 20%, во всех случаях эти сигналы будут иметь одинаковое отношение к возможности пациентки оказаться больной раком - а именно, ни малейшего отношения.

Мы можем показать аналитически, что так и должно быть во всех случаях, когда вероятность истинно положительного и ложноположительного результата одинаковы:
Теперь предположим, что тест обеспечивает одинаковые вероятности истинно положительного и ложно положительного результата, равную M (в предыдущем примере, M=80% или M = 0.8):
Доля пациенток с раком груди в группе получивших "положительный" результат равна 100*M / (100*M + 9900*M)= 100 / (100 + 9900) = 1%.  Это равенство сохраняется независимо от величины M - будь она 80%, 30%, 50%, или даже 100%.  Если маммография* дает "положительные" результаты для 90% пациенток с раком груди, и для 90% пациенток без рака груди, доля больных раком пациенток среди получивших "положительные" результаты будет в точности той же самой, что и во всей совокупности пациенток, то есть 1%.

Вы можете пропустить (?) выкладки, заменяющие исходную долю пациенток, больных раком, на произвольное значение P:
После "теста на рак", который дает "положительный" результат для доли M у пациенток с раком груди, и также "положительный" результат для той же самой доли M у здоровых пациенток:
Вероятность, что пациентка с "положительным" результатом больна раком - это доля группы A в объединенных группах A + C, то есть P*M /[P*M + (1 - P)*M], что эквивалентно, после сокращения общей переменной M из числителя и знаменателя, P / [P + (1 - P)] = P / 1 - то есть в точности P.  Если доля ложноположительных результатов та же самая, что и истинно положительных, вы всегда получите после такого теста ту же самую вероятность, что и была в начале.

Подключим здравый смысл.  Возьмем, к примеру, "тест" бросанием монеты; если выпадет решка, скажет ли это хоть что-то о вероятности рака груди?  Нет; монета имеет 50% шансов выпасть решкой, если пациентка больна раком, и те же 50%, если она здорова.  Поэтому нет никакого смысла называть орел или решку "положительным" результатом.  Не вероятность "50/50" делает бросок монеты плохим тестом; бросок монеты плох потому, что две вероятности, "для больной раком пациентки выпадает решка" и "для здоровой пациентки выпадает решка", в точности одинаковы.  Если монета утяжелена с одной из сторон, и в результате имеет 60% вероятность лечь решкой, она все равно не сможет служить тестом - не 50/50 вероятность решки для больной раком пациентки портит тест, а точно такая же 50/50 вероятность для здоровой пациентки.  Вы можете использовать даже тест со 100% вероятностью для больных раком - и все равно ничего не узнать о конкретном пациенте.  Пример такого "теста" - "сложите 2 и 2 и проверьте, получится ли 4"."  Такой тест даст "положительные" результаты для 100% больных раком - но он же даст 100% результаты и для здоровых пациенток.  А следовательно, Вы ничего не узнали.

Исходная доля пациенток с раком груди называется в статистике априорной вероятностью.  Шанс, что пациентка с раком груди получить положительную маммограмму, и шанс, что пациентка без рака получит положительную маммограмму, называются условными вероятностями.  В совокупности, вся исходная информация называется априорной.   Результат - ожидаемая вероятность, что пациентка больна раком груди, если ее маммограмма положительна, - называется уточненной вероятностью или апостериорной вероятностью.  Так вот, мы только что продемонстрировали, что если две условные вероятности одинаковы, апостериорная вероятность равна априорной.



Забавный
факт!
Вопрос.  Как я могу найти априорную информацию для своей задачи?
Ответ.  Множество обычно используемых сведений перечислены в Физико-химическом справочнике.

Вопрос.  Откуда первоначально берется эта априорная информация?
Ответ.  Никогда не задавайте этот вопрос.

Вопрос.  Хм-хм.  Тогда откуда же берется априорная информация в справочниках?
Ответ.  Априорная информация для научных проблем утверждается ежегодным голосованием Американской Ассоциации Содействия Развитию Науки.  В последние годы голосования становятся все более нервными и полемическими, со взаимной язвительностью, расколом на фракции и некоторым количеством откровенно политических убийств.  Возможно, это проявление внутренних разборок в Байесианском Совете, или же происходит вследствие наличия у дискутирующих большого количества свободного времени.  Никто точно не знает.

Вопрос.  Понятно.  А где еще можно раздобыть априорную информацию?
Ответ.  Некоторые скачивают ее из Интернета.

Вопрос.  А если информации, которую я ищу, нет в Интернете?
Ответ.  Есть один маленький, тесный антикварный магазинчик на задворках Чайнатауна в Сан-Франциско.  Только не спрашивайте бронзовую статуэтку.

На самом деле, априорная информация бывает истинной или ложной, точно так же как и решения задач, - она отражает реальность, и может быть проверена сравнением с этой реальностью.  Например, если Вы думаете, что 920 из 10000 женщин больны раком груди, а фактически больны только 100 из 10000, Ваша априорная информация ошибочна.  Для нашей конкретной задачи априорная информация могла быть установлена тремя (?) исследованиями - 1) исследованием историй болезни женщин с раком груди, выяснявшим, сколько из них получали положительный результат маммографии, 2) исследованием женщин, получивших положительный результат маммографии, но оказавшихся здоровыми, 3) и санитарно-эпидемиологическими данными о распространенности рака груди среди женщин определенного возраста.

Предположим, что в бочке находится множество маленьких пластиковых капсул.  Некоторые капсулы окрашены в красный цвет, некоторые - в синий.  У 40% от всех капсул внутри жемчужина, 60% пусты.   В синий цвет окрашены 30% капсул, содержащих жемчужины, и 10% пустых капсул.  Какова вероятность, что синяя капсула содержит жемчужину?  В этом примере числа достаточно просты, чтобы найти решение в уме, и я предлагаю Вам попробовать это сделать.

Но на всякий случай... Result:
Более компактная формулировка той же задачи:
"~" здесь сокращение для "нет", так что ~жемчуг читается как "нет жемчуга".

синий|жемчуг - сокращение для "синий если жемчужина", или "вероятность, что капсула окажется синего цвета, при условии что она содержит жемчужину".  В этой нотации сбивает с толку последовательность слов - она предполагает чтение справа налево, как в иврите или арабском.  синий|жемчуг означает "синий<-жемчуг", степень, в которой из "жемчужности" следует "синесть", а не степень, в которой из "синести" следует "жемчужность".  Это запутывает, но к сожалению такова стандартная форма записи в теории вероятностей.

Читатели, знакомые с квантовой механикой, уже сталкивались с этой особенностью: в квантовой механике, к примеру, <d|c><c|b><b|a> читается как "вероятность, что частица из A перейдет в B, потом в C, и окажется в D". Следуя за частицей, Вы пробегаете взглядом справа налево. Читая слева направо, "|" означает "если"; читая справа налево, "|" значит "влечет за собой" или "приводит к".  Итак, слева направо, blue|pearl читается как "синий если жемчужина" или "вероятность, что капсула окажется синего цвета, при условии что она содержит жемчужину".  Справа налево синий|жемчуг читается как "жемчужина приводит к синему" или "вероятность, что капсула, содержащая жемчужину, синяя".

Предмет в правой части такого выражения это то, что Вы уже знаете, или исходное условие, а предмет в левой части вывод или заключение.  Если Вы имеете p(синий|жемчуг) = 30%, и Вы точно знаете, что некоторая капсула содержит жемчужину, Вы можете заключить, что есть 30% шанс у этой капсулы оказаться синей.  Точно так же решение, которое мы ищем - "шанс, что синяя капсула содержит жемчужину", или "вероятность, что капсула содержит жемчужину, если мы знаем, что эта капсула синяя" - "жемчужина если синий" - записывается как p(жемчужина|синий).

Теперь вернемся к задаче.  Мы знаем, что 40% капсул содержат жемчужины, а 60% капсул совершенно пусты.  30% капсул, содержащих жемчужины, синего цвета, то есть 12% капсул от общего числа содержат жемчужины и синие.  10% от пустых капсул синего цвета, то есть от общего количества 6% капсул пустые и синие.  Всего у нас получается 18% синих капсул, и 12% синих и содержащих жемчужины капсул, так что шанс для синей капсулы содержать жемчужину равен 12/18 = 2/3 = примерно 67%.

Ниже находится Java-апплет, любезно предоставленный Христианом Ровнером, который демонстрирует графическое представление этой задачи:
(Если Вы вместо апплета видите иконку "java-applet", попробуйте включить java-плагины в браузере или обновить Java.)



Рассматривая этот апплет, легко понять, как решение задачи зависит от всех трех исходных вероятностей; есть своего рода перепад давлений между двумя условными вероятностями,  p(синий|жемчуг) и p(синий|~жемчуг), который сдвигает априорную вероятность p(жемчуг) к апостериорной вероятности p(жемчуг|синий).

Как и ранее, мы можем убедиться в необходимости всех трех составляющих априорной информации, рассмотрев предельные случаи (спокойно меняйте цифирки в окошке апплета, он не сломается).  В очень большой бочке, где только одна капсула на тысячу содержит жемчужину, знание о том, что капсула синяя, увеличивает наши шансы с 0.1% до 0.3% (вместо исходного увеличения с 40% до 67%).  Аналогично, если 999 из 1000 капсул содержат жемчужины, знание что капсула синяя увеличивает шансы с 99.9% до 99.966%; вероятность, что капсула не содержит жемчужины, меняется с 1/1000 до примерно 1/3000.  Даже если априорная вероятность сильно меняется, "перепад давлений" между двумя условными вероятностями всегда сдвигает вероятность в том же направлении.  Если Вы узнали, что капсула синяя, вероятность этой капсулы содержать жемчужину всегда увеличивается - но увеличивается от априорной вероятности, так что Вы должны знать априорную вероятность, чтобы вычислить решение задачи.  0.1% увеличивается до 0.3%, 10% превращается в 25%, 40% - в 67%, 80% - в 92%, и 99.9% возрастают до 99.966%.  Если Вам интересно узнать, как сдвигаются другие вероятности, можете просто ввести Вашу априорную вероятность в окошко апплета.  Вы также можете перетащить мышкой разделительную линию между pearl и ~pearl на верхней панели, и наблюдать апостериорную вероятность на нижней.

Исследования медицинского мышления показывают, что большинство врачей используют мысленную операцию замены первоначальной 1% вероятности на 80% вероятность, что женщина с раком груди получит положительную маммограмму.  Аналогично, в задаче с капсулами и жемчужинами большинство опрашиваемых, не знакомых с байесианским мышлением, ответили бы, что вероятность для синей капсулы содержать жемчужину будет 30%, или возможно 20% (30% шансов на истинно-положительный результат минус 10% шансов на ложно-положительный).  Даже если эта мысленная операция представляется хорошей идеей, она не имеет смысла в контексте предложенной задачи.  Это все равно как если бы Вы спросили у первоклассника: "Если восемнадцать человек сели в автобус, а потом еще семь человек сели в автобус, сколько лет водителю?"  Многие дети ответят: "Двадцать пять".  Они понимают, что получили возможность использовать специальную процедуру (сложение), но не вполне осознают связь этой процедуры с реальностью.  Точно так же для нахождения вероятности, что пациентка с положительной маммограммой больна раком груди, абсолютно бессмысленно заменять исходную вероятность заболевания на вероятность, что женщина с раком груди получит положительную маммограмму.  Столь же бессмысленно вычитать вероятность ложноположительного результата из вероятности истинно-положительного.  Эти операции здесь настолько же неуместны, как подсчет пассажиров в автобусе для определения возраста водителя.



Я продолжаю подчеркивать идею, что новые сведения сдвигают вероятности, поскольку люди имеют обыкновение использовать пространственное воображение для понимания цифр.  В частности, существуют интересные данные, что мы имеем врожденное чувство количества, которое локализовано в левой нижней теменной части коры головного мозга - пациенты с повреждением этой части могут избирательно потерять понимание, что 5 меньше чем 8, сохранив в то же время способность к чтению, письму, и всему прочему.  (Да, на самом деле!)  Теменная кора обеспечивает наше ощущение расположения предметов в простанстве (грубо говоря), так что внутренняя "линия цифр", или скорее "линия количества", может отвечать за человеческое восприятие чисел.  Вот почему я предлагаю визуализировать байесианские события как сдвиг вероятности вдоль числовой линии; я надеюсь, что такой способ позволит перевести байесинанскую логику во что-то имеющее смысл для простого человеческого мозга.  (Да, действительно, это и есть наглядное объяснение.)  Для дополнительной информации по этому вопросу см. Stanislas Dehaene, The Number Sense.



Исследование [Gigerenzer, Hoffrage, 1995] показывает, что некоторые способы формулировки задач более способствуют пробуждению байесианского мышления.  Наименее пробуждающие формулировки используют вероятности.  Чуть более пробуждающим является использование частот вместо вероятностей; задачи остаются теми же, но вместо высказывания, что 1% женщин имеет рак груди, мы можем сказать, что 1 из 100 женщин больна раком, что 80 из 100 женщин с раком груди получают положительные маммограммы, и так далее.  Почему большее число испытуемых "включает" байесианское мышление при таких формулировках? Возможно потому, что слова "одна из ста женщин" побуждают Вас конкретно визуализировать X женщин с раком груди, подготавливая Вас к визуализации X женщин с раком груди и положительной маммограммой, и так далее.

Самым же эффективным из найденных способов являются целочисленные частоты - формулировки, что 40 из 100 капсул содержат жемчужины, что 12 из этих 40 капсул содержат жемчужины и окрашены в синий цвет, и что 6 из остальных 60 капсул ничего не содержат и окрашены в синий.  Представление через целочисленные частоты единственное, в котором информация об априорной вероятности событий включена в описание условных вероятностей.  Если Вы захотите узнать условные вероятности из натурного эксперимента, Вы получите - в случае вскрытия ста капсул - что около 40 из них содержат жемчужины, и 12 из таких капсул синего цвета, а 60 капсул пусты, и синих из них только 6.  В процессе изучения условных вероятностей, Вы будете видеть случаи синих капсул с жемчужинами примерно вдове чаще, чем случаи синих капсул без жемчужин.

Может показаться, что представление задачи таким способом - читерство (мухлеж), и действительно, если это описание задачи в математической книге, это вероятно и будет читерством.  Однако, если речь идет о реальных врачах, Вам требуется мухлевать; Вы нуждаетесь в том, чтобы врачам было как можно проще найти правильное решение.  Напрашивающимся следующим шагом было бы представить всю медицинскую статистику в виде целочисленных частот.  К сожалению, хотя целочисленные частоты и являются шагом в правильном направлении, их все же недостаточно.  Когда задачи представлены в виде целочисленных частот, доля людей, начинающих использовать байесианскую логику, увеличивается примерно до половины.  Большое улучшение, но недостаточно большое, когда речь идет о реальных врачах и реальных пациентах.

Представление задачи в целочисленных частотах может быть визуализировано примерно так:



В частотной визуализации, selective attrition [избирательный отсев] двух условных вероятностей изменяет пропорцию капсул, содержащих жемчужины.  Нижняя полоска короче верхней, поскольку число капсул синего цвета меньше, чем общее количество капсул.  Вероятностная визуализация, показанная ранее, - та же самая частотная, но с "нормализованной" нижней полоской, то есть вытянутой до размера верхней.  В частотном апплете Вы можете менять условные вероятности, цепляя и перетаскивая левую и правую сторону диаграммы.  (Например, для изменения условной вероятности синий|жемчуг, зацепите и перетащите левую линию, соединяющую левую сторону верхней полоски с левой стороной нижней)

В вероятностном апплете Вы могли видеть, что когда условные вероятности одинаковы, не существует перепада давлений - стрелки на диаграмме одинаковы - так что априорная вероятность не сдвигается между верхней и нижней полоской.  Но нижняя полоска вероятностного апплета - это нормализованная (растянутая) версия нижней полоски частотного апплета, и частотный апплет показывает, почему вероятность не измеяется, когда две условные вероятности равны.  Вот пример, в котором априорная доля жемчужин остается на уровне 40%, и доля жемчужин в синих капсулах по-прежнему составляет 30%, но число пустых капсул синего цвета тоже становится 30%:



Если Вы уменьшите две фигуры в одинаковое число раз, их относительные пропорции не изменятся.  Если Вы уменьшите левую часть верхней полоски в то же число раз, что и правую, нижняя полоска будет иметь те же самые пропорции - отличаясь лишь размером.  Если две условные вероятность равны, знание о том, что капсула окрашена в синий цвет, не изменяет вероятность того, что она содержит жемчужину - по той же причине, по которой подобные треугольники имеют одинаковые углы; геометрические фигуры не меняют форму, когда Вы изменяете их масштаб.

В приведенном случае Вы вполне можете просто сказать, что 30% капсул синие, поскольку вероятность капсулы оказаться синей не зависит от того, содержит она жемчужину или нет.  Применение "теста", результаты которого не зависят от его условий, просто сокращает размер полоски.  В нашем примере, требование, чтобы капсула была синей, не сокращает группу капсул с жемчужинами в большей или меньшей степени, нежели группу без жемчужин.  Оно лишь сокращает количество капсул в выборке.



Забавный
факт!
Вопрос.  Почему байесианский мыслитель перешел дорогу?
Ответ.  Вам нужно больше информации, чтобы ответить на этот вопрос.



Вот как выглядит наша исходная задача в графическом виде.  1% женщин больны раком груди, 80% из этих женщин получают положительные результаты маммографии, и 9.6% женщин без рака груди тоже получают положительные результаты.



Как теперь совершенно ясно, положительная маммограмма не увеличивает вероятность оказаться больным раком путем увеличения общего числа больных раком - конечно нет, будь оно так, какой дурак пошел бы проверяться?   В то же время, наличие a положительной маммограммы это тест на принадлежность, который отсеивает значительно больше женщин без рака груди, нежели с раком.  Число женщин без рака груди уменьшается более чем в десять раз, с 9900 до 950, в то время как число больных раком женщин сокращается всего лишь со 100 до 80.   В результате, доля 80 в 1030 намного больше, чем исходные 100 в 10000.   На диаграмме левый сектор верхней полоски (представляющий женщин с раком груди) очень мал, но проведение маммографии проецирует его почти полностью на нижнюю полоску.  Правый сектор (представляющий здоровых женщин) значительно больше, но тест проецирует вниз значительно меньшую его часть.  В результате там действительно оказывается меньше женщин с раком груди и положительной маммограммой, нежели всего было женщин с раком груди - в полном соответствии с законом вероятности, который требует p(A) >= p(A&B).  Но хотя нижний левый сектор и слегка меньше верхнего, доля этого сектора внутри нижней полоски больше - пусть и ненамного больше.  Если нижнюю полоску нормализовать к той же длине, что и верхнюю, это будет выглядеть как увеличение левого сектора.  Вот почему доля "женщин с раком груди" в группе "женщины с положительной маммограммой" выше, чем доля "женщин с раком груди" в населении в целом - хотя эта доля и все еще не слишком велика.  Наличие положительной маммограммы сдвигает априорную вероятность в 1% к апостериорной в 7.8%.



Предположим, что существует еще один вариант маммографии, маммография@, который работает следующим образом.  1% женщин в демографической выборке больны раком груди.  Как и обычная маммография, маммография@ дает положительные результаты для 9.6% женщин без рака груди.  Однако, маммография@ обеспечивает 0% (иными словами, один на миллиард) положительных результатов для женщин, больных раком груди. Диаграмма для такого сценария будет выглядеть следующим образом:



Что реально делает этот тест?  Если пациентка придет к Вам с положительным результатом маммографии@, что Вы ей скажете?



"Поздравляю, Вы среди немногих 9.5% населения, здоровье которых точно подтверждается этим тестом".

Маммография@ не тест на рак, это тест на здоровье!  Немногие женщины без рака груди получают положительные результаты маммографии@, но только женщины без рака груди могут получить такие результаты.  Не очень большая часть правого сектора верхней полоски проецируется в нижнюю, но от левого сектора туда вообще ничего не проецируется.  Таким образом, положительный результат маммографии@ означает, что пациентка наверняка не больна раком груди.



То, что делает обычную маммографию положительным индикатором рака груди, не то же самое, что обычно называется "положительным результатом"; на деле ее результативность определяется особым байесовским соотношением, в котором результаты теста находятся с наличием рака груди.  Вы можете называть один и тот же результат "положительным", или "отрицательным", или "синим", или "красным", или "Джеймс Резерфорд", или вообще никак не называть, но результаты теста все равно будут сдвигать вероятность в точности в том же направлении.  Для минимизации путаницы, тест, результат которого сдвигает вероятность рака груди в сторону увеличения, назовем "положительным".  Тест, результат которого сдвинет вероятность рака груди в сторону уменьшения, назовем соответстенно "отрицательным".  Если результат теста статистически не связан с наличием или отсутствием рака гружи - то есть если две условные вероятности равны - мы не должны называть такую процедуру "тестом на рак"!  Смысл теста определеяется только двумя условными вероятностями; любые названия, придуманные для результата, являются лишь этикетками.





Нижняя полоска диаграммы маммографии@ коротка; маммография@ редко дает полезные результаты.  Или точнее, этот тест редко дает сильные доказательства, а куда чаще даетслабые.  Отрицательный результат маммографии@ тоже сдвигает вероятность - но не слишком далеко.  Нажмите на кнопку "Result" в левом нижнем углу апплета, чтобы увидеть, к чему приведет отрицательный результат маммографии@.  Вы можете предположить, что если тест мог выдать результат, означающий отсутствие рака, но не сделал этого, то неудача теста в выдаче положительного результата должна означать, что шансы пациентки оказаться больной увеличиваются - что ее вероятность иметь рак груди должна сдвигаться в сторону увеличения отрицательным результатом теста.

Это предположение правильно!  Общая численность групп с отрицательными и положительными результатами всегда равна численности всех пациенток.  Если группа с положительными результатами получает "больше, чем полалагось бы по-справедливости" женщин без рака груди, то в оставшейся группе должно оказаться чуть больше женщин больных раком. Положительный результат - редкий, но очень сильный аргумент в одну сторону, в то время как отрицательный результат - чаще встречающийся, но очень слабый аргумент в противоположном направлении.  Вы можете назвать это Законом Сохранения Вероятности - не общепринятым, но тем не менее строго выполняющимся правилом.   Если Вы возьмете изменившуюся вероятность рака груди после положительного результата, умноженную на вероятность этого положительного результата, и добавите к ней изменившуюся вероятность рака груди после отрицательного результата, умноженную на вероятность отрицательного результата, Вы всегда получите исходную вероятность.  Если Вы еще не знаете результат теста, ожидаемая уточненная вероятность от его применения - с учетом обоих возможных результатов - будет всегда равна априорной вероятности.

В обычной маммографии, "положительный" результат теста ожидается в 10.3% случаев - 80 истинно положительных (на 10000) для женщин с раком плюс 950 ложно положительных для здоровых женщин в сумме дает 1030.  И наоборот, обычная маммография должна давать 89.7% "отрицательных" результатов:  100% - 10.3% = 89.7%.  Положительный результат сдвигает уточненную вероятность рака с 1% до 7.8%, отрицательный результат - с 1% до 0.22%.  В результате p(рак|положительный)*p(положительный) + p(рак|отрицательный)*p(отрицательный) = 7.8%*10.3% + 0.22%*89.7% = 1% = p(cancer), как и следовало ожидать.

Calculator: Result:


Почему "как и следовало ожидать"?  Посмотрите на цифры:

p(рак): 0.01   
Группа 1: 100 женщин с раком груди
p(~рак): 0.99
Группа 2: 9900 женщин без рака груди
 


p(положительный|рак): 80.0%
80% женщин с раком груди имеют положительный результат маммографии
p(~положительный|рак): 20.0%
20% женщин с раком груди имеют отрицательный результат маммографии
p(положительный|~рак): 9.6%
9.6% женщин без рака груди имеют положительный результат маммографии
p(~положительный|~рак): 90.4%
90.4% женщин без рака груди имеют отрицательный результат маммографии
 


p(рак&положительный): 0.008
Группа A:  80 женщин с раком груди и положительным результатом маммографии
p(рак&~положительный): 0.002
Группа B: 20 женщин с раком груди и отрицательным результатом маммографии
p(~рак&положительный): 0.095
Группа C: 950 женщин без рака груди и положительным результатом маммографии
p(~рак&~положительный): 0.895
Группа D: 8950 женщин без рака груди и с отрицательным результатом маммографии
 


p(положительный): 0.103
1030 женщин с положительными результатами маммографии
p(~положительный): 0.897
8970 женщин с отрицательными результатами маммографии
 


p(рак|положительный): 7.80%
Шансы иметь рак груди, если результат маммографии положительный: 7.8%
p(~рак|положительный): 92.20%
Шансы быть здоровой, если результат маммографии положительный: 92.2%
p(рак|~положительный): 0.22%
Шансы иметь рак груди, если результат маммографии отрицательный: 0.22%
p(~рак|~положительный): 99.78%
Шансы быть здоровой, если результат маммографии отрицательный: 99.78%

Одной из частых ошибок в использовании байесианской логики является смешивание некоторых или всех этих величин - которые, как Вы можете видеть, не только различаются численно, но и имеют разный смысл.  p(A&B) то же самое, что и p(B&A), но p(A|B) не то же самое, что p(B|A), и p(A&B) полностью отличается от p(A|B).  (Я не знаю, кто выбрал симметричный "|" символ для обозначения "влечет за собой", и сделал направление этого отношения справа налево, но в любом случае это была скверная идея.)

Чтобы познакомиться поближе со всеми этими величинами и отношениями между ними, сыграем в "слежку за степенями свободы".  Например, две величины p(рак) и p(~рак) имеют 1 степень свободы между ними, поскольку p(A) + p(~A) = 1.  Если Вы знаете, что p(~рак) = .99, Вы можете получить p(рак) = 1 - p(~рак) = .01.  Нельзя одновременно сказать, что p(~рак) = .99 и что p(рак) = .25; это будет нарушением правила p(A) + p(~A) = 1.

p(положительный|рак) и p(~положительный|рак) тоже имеют между собой только одну степень сводобы; каждая женщина с раком груди может либо получить положительную маммограмму, либо не получить.  С другой стороны, p(положительный|рак) и p(положительный|~рак) связаны двумя степенями свободы.  Вы можете можете иметь тест, который дает положительный результат для 80% больных раком и для 9.6% здоровых, или тест, дающий 70% для больных и 2% для здоровых, или даже тест, возвращающий "положительный" результат для 30% больных раком и для 92% здоровых.  Две эти величины - результаты теста для больных и для здоровых - математически независимы; ни одна из них не может быть вычислена на основании другой каким-либо способом, и это означает, что они имеют две степени свободы между собой.

А как насчет p(положительный&рак), p(положительный|рак), и p(рак)?  Здесь мы имеем три величины; сколько между ними степеней свободы?  В данном случае равенство, которое должно выполняться, - p(положительный&рак) = p(положительный|рак) * p(рак).  Это равенство сокращает число степеней свободы до единицы.  Если мы знаем число пациенток с раком груди, и шансы больных раком пациенток получить положительную маммограмму, мы можем определить число пациенток, которые имеют рак груди и положительную маммограмму простым умножением.  Вы можете обнаружить эту операцию на диаграмме; это проекция верхней полоски на нижнюю.  p(рак) это левый сектор верхней полоски, p(положительный|рак) определяет, насколько много от этого сектора проецируется на нижнюю полоску, и левый сектор нижней полоски представляет собой p(положительный&рак).



Аналогично, если мы знаем количество пациенток с раком груди и положительными маммограммами, а также общее число пациенток с раком груди, мы можем оценить шансы, что женщина с раком груди получит положительную маммограмму, простым делением: p(положительный|рак) = p(положительный&рак) / p(рак).  Фактически, именно так и калибруют медицинские тесты; вы проводите исследование на 8520 женщинах с раком груди, получаете в результате 6816 (или около) женщин с раком груди и положительными маммограммами, после чего делите 6816 на 8250, чтобы найти 80% вероятность для женщины, больной раком, получить положительную маммограмму.  (Между прочим, если Вы случайно поделите 8250 на 6816, вместо того чтобы наоборот, Ваши вычисления начнут давать странные результаты, такие как утверждение, что 125% женщин с раком груди и положительной маммограммой больны раком. По моему опыту, это довольно распространенная ошибка в расчетах по байесианской арифметике.)  И в заключении, если Вы знаете p(положительный&рак) и p(положительный|рак), Вы можете вывести исходную долю больных раком пациенток.  Итого, у нас две степени свободы между этими тремя величинами: если Вы знаете две из них, Вы можете рассчитать третью.

А как связаны p(положительный), p(положительный&рак), и p(положительный&~рак)?  Снова у нас только две степени свободы для трех переменных.  Уравнение, устраняющее еще одну степень свободы, - p(положительный) = p(положительный&рак) + p(положительный&~рак) .  Для начала, вот как рассчитывается p(положительный): мы берем количество женщин с раком груди и положительными маммограммами, прибавляем к нему количество женщин без рака груди и положительными маммограммами, и получаем вместе искомое количество женщин с положительной маммограммами.  Конечно, весьма странно проводить исследования для определения числа женщин с положительными маммограммамми - только одного числа и ничего больше - но в теории Вы можете это сделать.  И если потом Вы проведете другое исследование, и найдете количество с положительными маммограмми и раком груди, Вы также узнаете и количество женщин с положительными маммограммами и без рака груди - поскольку женщина с положительной маммограммой или больна раком груди, или нет.  В общем,p(A&B) + p(A&~B) = p(A).  Аналогично, p(A&B) + p(~A&B) = p(B).

А что у нас с p(положительный&рак), p(положительный&~рак), p(~положительный&рак), and p(~положительный&~рак)?  Поначалу соблазнительно решить, что здесь только две степени свободы для четырех переменных - что возможно, например, получить p(положительный&~рак) через умножение p(положительный) * p(~рак), и тогда все четыре значения могут быть найдены через две независимые переменные - p(положительный) and p(рак).  Но это не тот случай!  p(положительный&~рак) = p(положительный) * p(~рак) верно только для двух вероятностей, которые статистически независимы - если бы шансы, что женщина больна раком груди, никак не были бы связаны с тем, что у нее положительная маммограмма.  Но как Вы уже знаете, такое возможно лишь в случае, если обе условные вероятности одинаковы - требование, которое может устранить одну степень свободы.  Если Вы вспомните, что эти четыре величины являются группами A, B, C, and D, Вы сможете посмотреть на эти четыре группы и осознать, что теоретически Вы можете поместить любое число женщин в каждую из этих групп.  Если Вы начнете с группы 80 женщин с раком груди и положительными маммограммами, нет никаких причин, почему Вы не могли бы добавить следующую группу из 500 женщин с раком груди и отрицательными маммограммами, затем группу из 3 женщин без рака груди и отрицательными маммограммами, и так далее.  Теперь может показаться, что эти четыре величины имеют четыре степени свободы.  Так оно и есть, за исключением того момента, что когда они записываются как вероятности, мы должны нормализовать их до долей единицы от общей группы, что добавит следующее ограничение: p(положительный&рак) + p(положительный&~рак) + p(~положительный&рак) + p(~положительный&~рак) = 1.  Это уравнение забирает одну из степеней свободы, оставляя в итоге три степени для четырех величин.  Если Вы зададите доли единицы для женщин в группах A, B, и D, Вы сможете вывести долю единицы для женщин в группе C.



Располагая четырьмя группами A, B, C, и D, очень просто вычислить все прочее:  p(рак) = A + B, p(~положительный|рак) = B / (A + B), и так далее.  Поскольку набор ABCD содержит три степени свободы, отсюда следует, что полный набор из 16 вероятностей (рассчитываемый на основе ABCD) также содержит только три степени свободы.  Вспоминаем, что в наших задачах мы всегда нуждаемся в трех частях информации - одной априорной и двух условных вероятностях, - которые и в самом деле имеют три степени свободы (будучи независимыми друг от друга).  Собственно, в байесианских задачах любые три величины с тремя степенями свободы будут исчерпывающе описывать ситуацию.  Например, возмьем контейнер с капсулами, где p(синий) = 0.40p(синий|жемчуг) = 5/13, and p(~синий&~жемчуг) = 0.20.  Располагая этой информацией, Вы можете вычислить p(жемчуг|синий).

То же самое на словах:
У Вас есть большой контейнер, содержащий кучу пластиковых капсул.  Некоторые из них содержат жемчужины, остальные пусты.  Некоторые капсулы окрашены в синий цвет, остальные в красный.  Предположим, что 40% капсул синие, 5/13 от капсул, содержащих жемчужины, синие, и 20% капсул одновременно пустые и красные. [это не то же самое, что 20% красных капсул содержат жемчужину - С.Щ.]  Какова вероятность, что синяя капсула содержит жемчужину?

Попробуйте решить - заверяю Вас, что это возможно! [у меня заняло 10 минут в Экселе, с двумя промежуточными быстрыми и неправильными результатами - С.Щ.]

Calculator: Result:
Вам необязательно пытаться найти решение только с помощью джаваскриптовского калькулятора.  Лично я обычно использую командную строку Python.  (В теории, карандаш и бумага тоже работают, но у моих знакомых нет карандашей, поэтому я не могу проверить это самостоятельно.)

Для проверки Ваших вычислений - получилось ли, что (не имеющая особого смысла) величина p(~жемчуг|~синий)/p(жемчуг) приблизительно равна 0.51?  (Или на словах: вероятность, что красная капсула пустая, деленная на вероятность, что произвольная капсула содержит жемчужину, приблизительно равна 0.51.)  Конечно, используя эту информацию, Вы можете подобрать ответ, не решая задачу целиком.

Если Вы решили эту задачу, то при новой встрече с Сохранением Вероятностей оно покажется Вам совершенно очевидным.  Конечно же, средняя пересмотренная вероятность, после прохождения теста, должна быть той же, что и априорная вероятность.  Конечное же, сильное, но редкое свидетельство в одном направлении должно быть уравновешено частыми, но слабыми свидетельствами в обратную сторону.

Потому что:
  p(рак|положительный)*p(положительный)
+ p(рак|~положительный)*p(~положительный)
= p(рак)


Или в описании через четыре группы:

p(рак|положительный)  = A / (A + C)
p(положительный)      = A + C
p(рак&положительный)  = A
p(рак|~положительный) = B / (B + D)
p(~положительный)     = B + D
p(рак&~положительный) = B
p(рак)                = A + B



Теперь вернемся к исходному контейнеру с капсулами - 40% капсул с жемчужинами, 30% содержащих жемчужины капсул окрашены в синий цвет, 10% пустых капсул окрашены в синий цвет. Диаграмма для этой задачи:



Что произойдет с пересмотренной вероятностью, p(жемчуг|синий), если доля капсул с жемчужинами останется прежней, но уже 60% капсул с жемчужинами будут синими (вместо 30%), и 20% пустых капсул тоже станут синими (вместо 10%)?  Вы можете ввести 60% и 20% в поля для двух условных вероятностей, и посмотреть, как изменится результат - но можете ли Вы заранее сообразить, как будут выглядеть эти изменения?



Если Вы догадались, что пересмотренная вероятность останется той же самой, поскольку сектора нижней полоски увеличатся вдвое с сохранением пропорций, мои поздравления!  Задержимся на секунду, чтобы подумать, как делеко Вы продвинулись.  Посмотрите на задачу вроде этой:

1% женщин больны раком груди.  80% женщин с раком груди имеют положительные маммограммы.  9.6% женщин без рака груди имеют положительные маммограммы.  Если женщина получила положительную маммограмму, какова вероятность, что она больна раком груди?

абсолютное большинство отвечающих полагает, что около 70-80% женщин с положительными маммограммами имеют рак груди.  Теперь смотрите на следующую задачу:

Предположим, что два контейнера содержат пластиковые капсулы.  В обоих контейнерах некоторые из капсул синие, остальные красные.  В обоих контейнерах 40% капсул содержат жемчужины, а остальные пусты.  В первом контейнере 30% капсул с жемчужинами синие, и 10% пустых капсул синие.  Во втором контейнере, 60% капсул с жемчужинами синие, и 20% пустых капсул синие.  Из какого контейнера выгоднее доставать синюю капсулу?

не правда ли, Вам теперь интуитивно очевидно, что вероятность синей капсулы содержать жемчужину одинакова в каждом контейнере?  А теперь вспомните, насколько трудно было увидеть это с помощью до-байесинаского мышления!



Интуитивно это очевидно, но как это доказать?  Назовем P априорную вероятность того, что капсула содержит жемчужину, M - первую условную вероятность (что капсула с жемчужиной синяя), и N - вторую условную вероятность (что пустая капсула синяя).  Предположим, что M и N увеличиваются или уменьшаются в произвольное число раз X - например, как в предыдущей задаче, увеличиваются в 2 раза.  Останется ли той же самой пересмотренная вероятность для синей капсулы содержать жемчужину?
Для этих величин выделим все те же четыре группы:
Доля капсул, содержащих жемчужину и синих, в общем числе синих капсул, будет долей группы (A) в группе (A+C), что эквивалентно P*M*X /(P*M*X + (1 - P)*N*X).  Множитель X в числителе и знаменателе сокращается, так что увеличение или уменьшение обеих условных вероятностей в одно и то же число раз не изменяет пересмотренной вероятности.



Забавный
Факт!
Вопрос.  Предположим, что есть два контейнера, каждый с кучей пластиковых капсул.  В обоих контейнерах часть капсул синие, остальные красные.  В первом контейнере 90% капсул содержат жемчужины, и 20% от капсул с жемчужинами синие.  Во втором контейнере 45% капсул содержат жемчужины, и 60% от пустых капсул - красные.  Из какого контейнера выгоднее доставать синюю капсулу?
Ответ.  На самом деле, это совершенно все равно!  Понимаете почему?



Вероятность, что тест дает истинно положительный результат, деленная на вероятность, что тест дает ложноположительный результат называется степенью правдоподобия этого теста.  Достаточно ли одной степени правдоподобия, чтобы сказать, что мы знаем все о полезности данного теста?

Нет, недостаточно!  Степень правдоподобия говорит все что требуется о значении положительного результата, но ничего ни о значении отрицательного результата, ни о частоте применимости теста.  Если мы рассмотрим приведенные выше формулы, то обнаружим, что когда p(жемчуг|синий) остается прежним, p(жемчуг|~синий) может измениться - в формуле для этой вероятности (группа B) множитель X не сокращается.  В словесном описании, этот странный факт выглядит примерно так:

Предположим, есть два контейнера, каждый с большим количеством пластиковых капсул.  В обоих контейнерах 40% капсул содержат жемчужины, а остальные капсулы пусты.  В обоих контейнерах часть капсул окрашена в синий цвет, а остальные в красный.   В первом контейнере, 30% капсул с жемчужинами окрашены в синий, и 10% пустых капсул окрашены в синий.  Во втором контейнере, 90% капсул с жемчужинами окрашены в синий, и 30% пустых капсул окрашены в синий.   Из какого контейнера предпочтительнее брать синюю капсулу?  А из какого контейнера - красную?

Ответ на первый вопрос мы уже знаем - нет разницы, из какого контейнера доставать синюю капсулу.   А вот во втором случае вероятности получаются разными - в первом контейнере 34% красных капсул содержат жемчужины, в то время как во втором - всего 8.7%!  Так что выгоднее брать красную капсулу из первого контейнера.  В первом контейнере 70% содержащих жемчужину капсул красные, и 90% пустых капсул красные.  Во втором контейнере 10% содержащих жемчужину капсул красные, и 70% пустых капсул красные.

Calculator: Result:
Как это получилось?  Мы начали с того, что вопреки интуиции величины p(жемчуг|синий) и p(жемчуг|~синий) имеют две степени свободы между собой, даже когда p(жемчуг) постоянна - поэтому нет никаких причин, почему бы одной величине не измениться, когда другая остается прежней.  Но разве мы не выводили закон "сохранения вероятностей", который утверждает, что p(жемчуг|синий)*p(синий) + p(жемчуг|~синий)*p(~синий) = p(жемчуг)?  Разве это уравнение не устраняет одну из степеней свободы?  Нет, не устраняет: p(синий) не одинаково между двумя сравниваемыми задачами.  Во втором контейнере доля синих капсул, содержащих жемчужины, та же самая, что и в первом, но самих синих капсул намного больше!  Это изменяет ситуацию для красных капсул, и в результате их вероятности тоже изменяются.  Вот диаграмма для красных капсул во втором контейнере:





Вернемся к примеру с медицинским тестом.  Степень правдоподобия теста - число истинно положительных результатов, деленное на число ложно положительных, - говорит нам все о значении положительного результата.  Но она ничего не говорит о значении отрицательного результата, и не может сказать, как часто тест оказывается полезным.  Например, маммография 80% истинно положительных и 9.6% ложно положительных результатов имеет ту же степень правдоподобия, что и тест с 8% истинно положительных и 0.96% ложно положительных результатов.  Но несмотря на одинаковость степеней правдоподобия, первый тест намного более полезен - он чаще определяет болезнь, а его отрицательный результат служит более сильным признаком здоровья.

Степень правдоподобия для положительного результата суммирует перепад давлений между двумя условными вероятностями для положительного результата, и показывает, насколько положительный результат смещает априорную вероятность.  Возьмем диаграмму вероятностей, например вот эту:



Степень правдоподобия маммографии определяет наклон линии (от верхнего левого сектора к правому).  Если априорная вероятность 1%, то знание степени правдоподобия достаточно для вычисления апостериорной вероятности в случае положительного результата теста.

Однако, как Вы можете увидеть на предыдущей диаграмме (с частотами), степень правдоподобия не дает полной картины - на этой диаграмме пропорции нижней полоски могут оставаться прежними, но сам размер этой полоски изменяется.  p(синий) увеличивается, но p(жемчуг|синий) не меняется, поскольку p(жемчуг&синий) и p(~жемчуг&синий) увеличиваются в одно и то же число раз.  Но когда Вы переключаетесь [кнопка Result] на просмотр p(~синий) [то есть Red], пропорции p(жемчуг&~синий) и p(~жемчуг&~синий) уже не остаются постоянными.

Конечно же, степень правдоподобия и не может давать полной картины; ведь степень правдоподобия и априорная вероятность вместе - лишь две переменные, в то время как задача имеет три степени свободы.



Предположим, что Вы используете два теста для рака один за другим - скажем, стандартную маммографию и еще какой-нибудь тест, совершенно независимый по отношению к маммографии.  Поскольку я не знаю ни одного такого теста (реально не зависящего от маммографии), я просто выдумаю такой тест для нашей задачи и назову его "Разделительный тест Темза-Брейлора", предположив, что он позволяет обнаружить, что некоторые клетки делятся быстрее чем другие.  Теперь предположим, что тест Темза-Брейлора дает истинно положительные результаты для 90% пациенток с раком груди, и ложно положительные результаты для 5% здоровых пациенток.  Априорная вероятность рака груди пусть будет все тот же 1%.  Если пациентка получает положительные результаты маммографии и теста Темза-Брейлора, какова перемотренная вероятность, что она больна раком груди?

Один из путей решения этой проблемы - взять пересмотренную вероятность для положительной маммограммы, которую мы уже подсчитали как 7.8%, и подставить в тест Темза-Брейлора как его априорную вероятность.  Если мы сделаем так, мы получим в результате 60%.

Calculator: Result:
Но это если считать, что сначала мы увидели результаты маммографии, и лишь потом провели тест Темза-Брейлора.  А что если пациентка сначала получила положительный результат Темза-Брейлора, и лишь потом - положительный результат маммографии?  Интуитивно мы полагаем, что итог не должен измениться.   А что скажет математика?

Сначала мы применяем тест Темза-Брейлора к женщине с 1% априорной вероятностью рака груди, и получаем положительный результат.

Calculator: Result:
Теперь делаем маммографию, которая дает 80% истинно положительных и 9.6% ложно положительных результатов, тоже с положительным результатом.

Calculator: Result:
Ну надо же, результат снова 60%.  (Если он не в точности тот же самый, это по причине ошибки округления - Вы можете взять более точный калькулятор, или посчитать дроби вручную, и тогда числа будут в точности одинаковы.)

Алгебраическое доказательство эквивалентности обеих стратегий Вы можете выполнить самостоятельно.  Визуально представьте себе, что нижняя полоска на частотном апплете для маммографии проецируется на еще более нижнюю полоску уже с использованием условных вероятностей Темза-Брейлора, и эта самая нижняя полоска остается той же самой независимо от порядка, в котором на нее проецируются условные вероятности.



Мы можем также заключить, что поскольку два теста независимы, для женщины с раком груди вероятность получить положительные результаты обоих тестов составляет 90% * 80% = 72%.  Аналогично, вероятность, что женщина без рака груди получит ложно положительные результаты двух тестов, равна 5% * 9.6% = 0.48%.  Теперь если мы представим все это как один тест со степенью правдоподобия в 72%/0.48%, и применим его к женщинам с 1% априорной вероятности рака груди:

Calculator: Result:
...мы обнаружим, что результат снова окажется 60%.

Предположим, что априорная распространенность рака груди в группе населения составлят 1%.  Предположим, что мы, как врачи, располагаем тремя независимыми тестами для рака груди.  Первый тест (A) - это маммография со степенью правдоподобия в 80%/9.6% = 8.33.  Второй тест (B) имеет степень правдоподобия 18.0 (например, 90% против 5%); и третий тест (C) имеет степень правдоподобия 3.5 (например 70% против 20% или 35% против 10%, что совершенно одинаково).  Предположим, пациентка получила положительные результаты всех трех тестов.  Какова вероятность, что у нее рак груди?

Вот забавный трюк для упрощения расчетов.  Если априорная распространенность рака груди в группе населения 1%, то 1 из 100 женщин больны раком груди, а 99 женщин здоровы.  Тогда если мы перепишем вероятность в 1% как отношение шансов, отношения получится:

1:99

Теперь запишем степени правдоподобия для тестов A, B, and C:

8.33:1 = 25:3
18.0:1 = 18:1
 3.5:1 =  7:2

Шансы для женщины с раком груди, получившей положительные результаты всех трех тестов, против женщины без рака груди, также получившей положительные результаты, составят::

1*25*18*7 : 99*3*1*2 =
3,150:594

Чтобы вернуться от шансов к вероятностям, просто напишем:
3,150 / (3,150 + 594) = 84%

Этот прием работает независимо от способа записи отношения шансов, т.е. 8.33:1 то же самое, что 25:3 или 75:9.  Также нет разницы, в каком порядке выполняются тесты, или в каком порядке подсчитываются результаты.  Опять же, алгебраическое доказательство оставлено Вам в качестве упражнения.



E. T. Jaynes в своей "Probability Theory With Applications in Science and Engineering", предлагает измерять правдоподобие и доказательность (evidence) в децибелах.

Децибелы?

Децибелы используются для измерения экспоненциальных различий интенсивности.   Например, если звук автомобильной сирены несет в 10000 раз больше энергии (на квадратный метр в секунду), чем звонок будильника, то сирена на 40 децибел громче.  Звук чириканья птицы может нести в 1000 раз меньше энергии, чем звук будильника, следоватлеьно, он будет на 30 децибел тише.  Для получения количества децибел нужно взять десятичный логарифм интенсивности и умножить на 10.

децибелы = 10 * log10 (интенсивность)
    или
интенсивнось = 10 ^ (децибелы/10)

Когда Вы решаете задачу с априорной вероятностью в 1%, что дает отношение шансов 1:99, и тремя тестами со степенями правдоподобия в 25:3, 18:1 и 7:2, Вы можете перемножать эти числа... или же просто складывать их логарифмы:

10 * log10 (1/99) = -20
10 * log10 (25/3) = 9
10 * log10 (18/1) = 13
10 * log10 (7/2)  = 5

Изначально достаточно маловероятно, что пациентка больна раком груди - и наш уровень правдоподобия составляет -20 децибел.  Далее три теста дают результаты, соответствующие 9, 13 и 5 децибелам доказательности.   Это поднимает уровень правдоподобия на 27 децибел, и в результате априорное правдоподобие в -20 превращается в апостериорные 7 децибел.  Соответственно шансы изменяются с 1:99 до 5:1, а вероятность - с 1% до 83%.



Перед Вами пакет, содержащий 1000 покерных фишек.  У меня было два таких пакета, один с 700 красными и 300 синими фишками, другой с 300 красными и 700 синими.  Я подбросил монетку, чтобы выбрать, какой пакет использовать, так что априорная вероятность, что перед Вами "красный" пакет, составляет 50%.   Теперь Вы вытаскиваете фишки, возвращая их обратно после каждого испытания.  Из 12 проб Вы получаете 8 красных и 4 синих фишки.  Какова вероятность, что перед Вами действительно "красный" пакет?

Из спортивного интереса, попробуйте решить эту задачу в уме.  Вам не нужна особая точность - грубой оценки вполне достаточно.  Когда будете готовы, продолжите чтение.



Согласно исследованию, проведенному Lawrence Phillips и Ward Edwards в 1966, большинство людей, получивших эту задачу, дают ответ в диапазоне от 70% до 80%.  Ваша оценка вероятности существенно выше?  Если так, мои поздравления - Ward Edwards пишет, что мало кто решает эту задачу правильно, даже среди тех, кто знаком с байесианским мышлением.  Правильный ответ - 97%.

Степень правдоподобия для результата "красная фишка" составлят 7/3, а для результата "синяя фишка" - 3/7.  Поэтому синяя фишка имеет в точности тот же уровень доказательности, что и красная, только в противоположном направлении - у красной 3.6 децибел доказательности для "красного" пакета, а у синий -3.6 децибел для того же самого.  Если Вы вытащите одну синюю и одну красную фишку, эти коэффициенты сократятся [проверим: вероятность синяя+красная одинакова что для "красного", что для "синего" пакетов - С.Щ.].  Таким образом, отношение числа красных фишек к синим не имеет значения; только превышение числа красных фишек над синими изменяет конечную вероятность.  У нас есть восемь красных и четыре синие фишки в двенадцати пробах - то есть на четыре красных больше, чем синих.  Поэтому апостериорные шансы будут:

74:34 = 2401:81
что составит примерно 30:1, или же 97% [точно 96.7% - С.Щ.].

Априорное правдоподобие стартует с 0 децибел и к концу испытаний составляет около 14 децибел обоснованности [на самом деле, 4*3.68 = 14.7, - С.Щ.], что дает шансы около 25:1 [точнее, 29.6:1] или 96% вероятности [96.7%].  Здесь снова присутствует ошибка округления, но если провести те же операции с достаточной точностью, результаты будут одинаковы.

Теперь Вы можете интуитивно сообразить, что задача будет иметь то же самое решение, полученное тем же путем, если вытаскивать из пакета шестнадцать фишек - десять красных и шесть синих.



Вы - механик по игрушкам.  Когда игрушка ломается, это в 30% случаев происходит из-за засорения трубки.  Если трубка игрушки засорена, существует 45% вероятность, что игрушка будет искрить при попытке ее завести.  Если трубка не засорена, есть только 5% шансов, что появятся искры.  Покупатель принес Вам неисправную игрушку.  Вы попробовали ее завести и увидели искры.  Какова вероятность, что у этой искрящей игрушки засорена трубка?

Calculator: Result:
Это та последовательность арифметических операций, которую Вы проделали для решения задачи?

(45%*30%) / (45%*30% + 5%*70%)



Аналогично, для получения вероятности, что женщина с положительной маммограммой имеет рак груди, мы вычисляли:

p(положительный|рак)*p(рак)
_______________________________________________
p(положительный|рак)*p(рак) + p(положительный|~рак)*p(~рак)

    что есть
p(положительный&рак) / [p(положительный&рак) + p(положительный&~рак)]
    что есть
p(положительный&рак) / p(положительный)
    что есть
p(рак|положительный)

Самая общая форма для этого вычисления известна как Теорема Байеса или Правило Байеса:

Bayes' Theorem:
p(A|X) =         p(X|A)*p(A)        
  p(X|A)*p(A) + p(X|~A)*p(~A)

По отношению к некоторому явлению A, которое мы желаем исследовать, и наблюдению X, которое что-то говорит насчет A - например, A это рак груди, а X это положительный результат маммографии, - Теорема Байеса говорит нам, как мы должны изменить нашу оценку вероятности A, получив новое свидетельство X.



Так вот ты какой, Байес! Теорема может показаться вопиюще очевидной, или даже тавтологичной, а вовсе не новой и удивительной. Если так, наше беспощадное знакомство полностью достигло своих целей.



Забавный
факт!
Вопрос.  Кто на самом деле открыл Теорему Байеса?
Ответ.  Реверенд Томас Байес, едва ли не самый загадочный человек в истории математики.   Почти ничего не известно о жизни Байеса, и очень немногие его рукописи уцелели.  Томас Байес родился в 1701 или 1702 году в семье Джошуа Байеса и Анны Карпентер, а его смерть была зарегистрирована 1761-м годом.  Точная дата рождения Томаса Байеса осталась неизвестной, поскольку Джошуа Байес, хоть и был весьма богатым человеком, состоял в необычной, эзотерической и даже еретической религиозной секте "Нонконформистов".  Нонконформисты хранили в тайне свои регистрационные книги, предположительно из опасения религиозной дискриминации; по этой или другой причине, не сохранилось подлинника записи о рождении Томаса Байеса.   Томас Байес был воспитан как образцовый служитель секты, и быстро достиг высшего ранга среди нонконформистских теософов, которому он обязан словом "Реверенд" [преподобный] в своем имени.

В 1742 году Байес был избран членом Лондонского Королевского Общества, самого престижного научного общества того времени, несмотря на отсутствие каких-либо опубликованных научных работ.  Свидетельство о выдвижении его кандидатом было подписано поручителями, в число которых входили президент и секретарь Общества, что сделало избрание Баейса практически гарантированным.  До сих пор остается загадкой,почему столь важные персоны продвинули никому не известного человека в Королевское Общество.

Единственной публикацией Байеса за известный нам период его жизни предположительно является мистическая книга под названием Божественное Милосердие (Divine Benevolence), трактующая первопричину возникновения и конечную цель мироздания.  Эта книга обычно приписывается Байесу, хотя стоит заметить, что имя автора не указано на титульной странице, а сам ее текст местами сомнительного происхождения.

Но это еще цветочки по сравнению с самой Теоремой Байеса, которая впервые упоминается в рукописи, представленной Лондонскому Королевскому Обществу в 1764 году, через три года после предполагаемой смерти Байеса в 1761!

Несмотря на шокирующие обстоятельства своего появления, теорема Байеса была вскоре забыта, и стала известна широкому кругу ученых лишь благодаря позднейшим усилиям великого математика, Пьер-Симона Лапласа.  Сам Лаплас был почти столь же загадочной фигурой, как и Байес; мы даже не знаем, какое из имен - Пьер или Симон - является его собственным именем.   В рукописях Лапласа содержится проект искусственного интеллекта, способного предсказывать все будущие события, иначе называемого Демоном Лапласа.  Хотя принято верить, что Лаплас никогда не пытался реализовать этот проект, остается фактом, что он предусмотрительно избежал гильотины, унесшей жизни его многочисленных коллег во времена Большого Террора.  Даже в наши дни физики иногда приписывают неожиданные результаты "Оператору Лапласа", вмешавшемуся в их эксперименты [видимо, игра слов, т.к. реальный оператор Лапласа - всего лишь форма записи второй производной функции нескольких переменных].

В общем, мы не знаем реальных обстоятельств рождения Байеса, источника происхождения теоремы Байеса, реального года смерти Байеса, и даже того, умер ли Байес на самом деле.  Тем не менее, "Реверенд Томас Байес", кем бы он ни был на самом деле, пользуется большой любовью и уважением научного сообщества планеты Земля.



Хорошо, но почему так много людей взволнованы по поводу теоремы Байеса?

"Вы верите, что ядерная война произойдет в следующие 20 лет?   Если нет, то почему?"  Поскольку я собирался использовать обычные ответы на этот вопрос для разъяснений насчет "рациональности", я взял и задал приведенный выше вопрос в чате #philosophy на EFNet.

Один из чатящихся ответил на мой вопрос "Нет", но добавил при этом, что он верит в биологическую войну, которая уничтожит "99.4%" человечества в ближайшие десять лет. Тогда я спросил, верит ли он, что возможно и 100% уничтожение. "Нет", сказал он. "Почему нет?", спросил я.  "Потому что я оптимист," сказал он.  (Юзер Roanoke с #philosophy на EFNet пожелал быть указанным в качестве автора этой формулировки, даже после предупреждения, что она будет процитирована не в лучшем для него свете.   Молодец!)  Другой участник, ответивший на вопрос, сказал, что он не ждет ядерной войны в ближайшие 100 лет, поскольку "Все игроки, вовлеченные в принятие решений насчет войны, не заинтересованы в ней прямо сейчас".  "Но почему так будет продолжаться целых 100 лет?", - спросил я. "Просто надеюсь", - ответил он.

Что гарантированно делает подобные соображения "иррациональными" - негодным путем для прибытия к истине?  Есть множество интуитивных ответов на этот счет; например, "Нерационально верить во что-то только потому, что это обнадеживает."  Конечно, столь же неправильным будет и верить во что-то потому, что оно причиняет беспокйство; эта ошибка менее распространена, но столь же иррациональна.  Другой интуитивный аргумент включает идею, что "Оптимист Вы или нет, никак не влияет на успешность уничтожения человечества биологическим оружием", или же "Надежда не доказательство насчет возможности ядерной войны, поскольку она не результат исследований ядерных войн."

Помимо них, существует математический вариант ответа - точный, строгий и содержащий все интуитивные соображения как частный случай.  Этот математический ответ известен как Теорема Байеса.

Например, вариант "Оптимист Вы или нет, никак не влияет на успешность уничтожения человечества биологическим оружием" может быть переведен в следующие выражения:

p(Вы оптимист | биологическая война случится в ближашие десять лет и уничтожит все человечество) =
p(Вы оптимист | биологическая война случится в ближашие десять лет и НЕ уничтожит все человечество)

Поскольку вероятности для p(X|A) и p(X|~A) одинаковы, теорема Байеса говорит, что p(A|X) = p(A); как мы уже не раз видели, когда две условные вероятности одинаковы, пересмотренная вероятность равна априорной вероятности.  Если X и A никак не связаны - то есть статистически независимы - то обнаружение истинности X не может быть свидетельством в пользу истинности A; наблюдение X не изменяет нашу оценку вероятности A; высказывание "X" не является аргументом насчет A.

Но предположим, что Вы дискутируете с кем-нибудь достаточно сообразительным, чтобы сказать примерно следующее: "О, поскольку я оптимист, я поддерживаю надежду на лучшее завтра, работаю более упорно на моей убийственной работе, поднимаю хоть чуть-чуть глобальную экономику, посылаю немного денег ученым, которые в конечном счете найдут способ остановить биологическое оружие - так что, как видите, мой оптимизм и биологическая война в конечном счете связаны, и я могу использовать свой оптимизм как валидное свидетельство в отношении войны!"  С одной стороны, все верно - любая связь, неважно насколько слабая, является законной добычей Теоремы Байеса; но теорема Байеса умеет отличать слабые и сильные свидетельства.  Так что Теорема Байеса не только говорит нам, что является, а что не является свидетельством, она еще и описывает силу свидетельств.  Теорема Байеса не только говорит нам, когда нужно пересматривать наши вероятности, но еще и насколько их пересматривать.  Связь между надеждой и биологической войной может существовать, но она значительно слабее, чем хотел бы наш собеседник; он пересматривает вероятности слишком сильно.

Предположим, Вы женщина, только что прошедшая маммографию.  До нее Вы полагали, что Вы имеете довольно малую вероятность иметь рак груди; Вы где-то слышали про статистику, и знаете, что это 1%.  Когда Вы получаете положительный результат, Вы ожидаете, что теперь вероятность рака груди выросла для Вас до 7.8%.  Однако явно неуместно заявлять что-нибудь вроде: "А, ладно, положительные маммограммы не точное доказательство, некоторые здоровые женщины тоже получают положительные маммограммы.  Не хочу беспокоиться раньше времени, и не буду пересматривать свою вероятность до получения более надежных данных.  Почему?  Потому что я оптимистка!"  Столь же неверным было бы говорить: "Конечно, положительная маммограмма неточна, но я буду предполагать худшее, пока не найдется других свидетельств. Почему? Потому что я пессимистка!"  Ваша пересмотренная вероятность должна стать именно 7.8%, ни больше, ни меньше.

Теорема Байеса описывает, как что-то становится "свидетельством" и насколько это свидетельство весомо.  Статистические модели оцениваются через сравнение с байесианским методом потому, что в статистике нет ничего лучше байесианского метода - он точно определяет максимальную информацию, которая может быть извлечена из имеющегося набора фактов, подобно тому, как термодинамика определяет максимальную работу, которая может быть добыта из разницы температур.  Вот почему Вы слышите, как ученые говорят про Байесианских мыслителей.  В когнитивной науке Байесианский мыслитель - технический термин, который мы используем для обозначения рационального разума.

Разглядывая формулу Байеса, Вы можете совершить целый ряд открытий об особенностях человеческой рациональности.

Например, во многих дискуссиях вокруг теоремы Байеса Вы могли слышать, как когнитивные психологи говорят: "Люди недостаточно принимают во внимание априорные вероятности". Это означает, что когда люди сталкиваются с задачей, в которой некое свидетельство X служит признаком, что условие A может быть истинным, они склонны оценивать вероятность A только на основе достоверности связи X и A, не принимая во внимание априорную вероятность самого A.  Если Вы в нашем самом первом примере с маммографией думаете, что шансы женщины оказаться больной составляют 70%-80%, то такой способ мышления как раз и игнорирует априорную вероятность, являющуюся одним из условий задачи; такое мышление не различает, 1% или 10% женщин первоначально имеют рак груди.  "Уделяйте больше внимания априорной вероятности!" - вот одна из многих вещей, которую люди должны постоянно держать в голове, чтобы хоть как-то компенсировать эту свою врожденную неадекватность.

Другой подобной ошибкой является обращать внимание только на p(X|A), забывая про p(X|~A), которая на деле определяет, насколько существенно свидетельство X относительно A.  Степень, в которой результат X действительно свидетельствует об A зависит не только от силы утверждения мы ожидаем увидеть результат X, если A истинно, но также и от силы утверждения мы не ожидаем увидеть результат X, если A не истинно.  Например, если идет дождь, это очень сильно предполагает, что трава будет мокрой - p(мокро|дождь) ~ 1 - но обнаружение, что трава мокрая, вовсе не гарантирует, что идет дождь; возможно, просто включен разбрызгиватель, или на траве утренняя роса.  Поскольку p(мокро|~дождь) существенно выше нуля, p(дождь|мокро) столь же существенно меньше единицы.  С другой стороны, если бы трава никогда не была бы мокрой без дождя, то знание что трава мокрая всегда означало бы дождь, p(дождь|мокро) ~ 1, даже если p(мокро|дождь) = 50%; то есть трава намокала бы только в 50% случаев дождя.  Свидетельство всегда есть результат разницы между двумя условными вероятностями.  Сильное свидетельство возникает не от высокой вероятности, что A приводит к X, а от очень низкой вероятности, что не-A может привести к X.

Байесианская революция в науках подпитывается не только тем, что все больше когнитивных ученых вдруг замечают, что наши мыслительные процессы имеют байесианскую структуру, и не тем, что ученые в других науках начинают оценивать свои статистические методы сравнением с байесианским подходом; главным топливом этой революции служит идея, что наука сама по себе есть частный случай Теоремы Байеса: экспериментальные факты - всего лишь байесовские свидетельства.  Байесианские революционеры настаивают, что когда Вы производите эксперимент и получаете факты, которые "подтверждают" или "опровергают" Вашу теорию, эти подтверждения и опровержения управляются байесовыми правилами.  Например, Вы должны принимать во внимание не только то, насколько Ваша теория правильно предсказывает явления, но и то, насколько другие теории могут предсказать эти же явления [см. пример с мокрой травой и дождем].  В прошлом наиболее популярной философией науки (возможно) был фальсификационизм Карла Поппера - философия, которую сегодня байесианская революция сбрасывает с корабля современности.  Идея Карла Поппера, что теории могут быть достоверно фальсифицированы, но никогда не могут быть достоверно подтверждены, - всего лишь частный случай Теоремы Байеса; если p(X|A) ~ 1 - теория A дает однозначное предсказание X - то наблюдение ~X очень сильно фальсифицирует A.  С другой стороны, если p(X|A) ~ 1,  и мы в очередной раз наблюдаем X, это не является каким-то подтверждением теории A, поскольку может существовать другое условие B, для которого p(X|B) ~ 1, и в этом случае наблюдение X не позволяет выбрать между A и B.  Чтобы наблюдение X достоверно подтвердило A, мы должны знать не что p(X|A) ~ 1, а что p(X|~A) ~ 0, чего мы знать не можем, поскольку не в состоянии перебрать все возможные альтернативные объяснения.   К примеру, когда эйнштейновская Общая теория относительности сменила невероятно хорошо подтвержденную теорию гравитации Ньютона, выяснилось, что все ньютоновские предсказания являются частным случаем эйнштейновских [то есть выбор между теориями был сделан не на основе подтверждений].

Вы даже можете выразить попперовскую философию математически.  Степень правдоподобния для X, p(X|A)/p(X|~A), определяет, насколько наблюдение X сдвигает вероятность истинности A; степень правдоподобия говорит нам, насколько сильно X как свидетельство.   Так вот, в своей теории A Вы можете предсказать X с вероятностью в 1; но Вы не можете контролировать знаменатель степени правдоподобия, p(X|~A) - поскольку всегда могут найтись другие теории, которые тоже предсказывают X, и хотя мы соглашаемся с [Вашей] наиболее простой теорией, согласующейся с текущими фактами, Вы можете однажды обнаружить явление, которое альтернативные теории предсказывают, а Ваша - нет.  Так незаметная до поры погрешность [видимо, неправильная орбита Меркурия] опрокинула ньютоновскую теорию гравитации.  Таким образом, есть предел достоверности, дальше которого Вы не можете пройти с помощью успешных предсказаний; есть предельная степень правдоподобия, которая может быть получена на основе подтверждающих фактов.

С другой стороны, если Вы обнаружите некоторое число фактов Y, которые однозначно не допустимы в Вашей теории, это будет чрезвычайно сильным свидетельством против Вашей теории.  Если p(Y|A) стремится к нулю, то и степень правдоподобия тоже стремится к нулю.  Например, если p(Y|A) = 0.0001%, и p(Y|~A) составляет 1%, то степень правдоподобия p(Y|A)/p(Y|~A) будет 1:10000.  -40 децибел достоверности!  Или в обратную сторону, если p(Y|A) является очень малой, то p(Y|~A)/p(Y|A) будет очень большой, что означает намного большую вероятность обнаружить ~A, нежели A.  Фальсификация намного сильнее подтверждения.  Это прямо следует из предшествующих соображений, что очень сильное свидетельство возникает не от высокой вероятности, с которой из A следует X, а из очень низкой вероятности, что не-A может привести к X.  Таково точное правило Байеса, лежащее в основе приблизительного попперовского фальсификационизма.

Схожим образом попперовский тезис, что любая идея должна быть фальсифицируемой, может быть интерпретирован как воплощение байесианского Закона Сохранения Вероятностей: если результат X является частым (и потому слабым) положительным свидетельством для теории, то результат ~X автоматически станет сильным (опровергающим!) свидетельством против нее.  Если Вы попытаетесь интерпретировать оба результата - X и ~X - как "подтверждения" теории, то правило Байеса скажет, что это невозможно! [??? тут нужна помощь - С.Щ.]   Для увеличения вероятности теории Вы должны подвергнуть ее тестированию на события, которые могут уменьшить ее вероятность; это не только правило для выявления вероятных мошенников в науке, но еще и прямое следствие из байесовой теории вероятности.  В то же время, попперовская идея, что есть только фальсификация и нет такой штуки как подтверждение оказывается неверной.  Теорема Байеса показывает, что фальсификация действительно очень сильное свидетельство в сравнении с подтверждением, но фальсификация все равно имеет вероятностную природу; она не подчиняется каким-то отличным от подтверждения правилам, как утверждал Поппер.

Итак, мы обнаружили, что многие явления в когнитивных науках, плюс статистические методы, используемые учеными, плюс собственно сам по себе научный метод - все это оказалось частным случаем Теоремы Байеса.  Вот она, Байесианская революция!



Забавный
факт!
Вопрос.  Есть ли что-то неподвластное Теореме Байеса?
Ответ.  Согласно легенде, тот, кто полностью поймет Теорему Байеса, получит способность создать альтернативную вселенную и уйти в нее в физическом теле только лишь с помощью имеющегося в продаже оборудования и короткой компьютерной программы. Тот, кто полностью понял Теорему Байеса, но все еще остается в нашей вселенной, чтобы помогать людям, известен как Байесаттва



Bayes' Theorem:
p(A|X) =         p(X|A)*p(A)        
  p(X|A)*p(A) + p(X|~A)*p(~A)

Почему пришлось ждать так долго, а не написать сразу эту формулу в самом начале текста?  Ну... потому что я уже пробовал сразу написать формулу. И все, к чему это приводило, - что все мои читатели начинали путаться, пытаясь использовать Теорему Байеса как набор непонятно откуда взявшихся правил; вместо реально полезной формулы Теорема становилась для них жонглированием несколькими мячиками, поскольку впридачу к попыткам сообразить, сколько женщин с раком груди получают положительные маммограммы, моим читателям также приходилось вспоминать, что там идет в числителе, p(X|A) или p(A|X), и к чему относится положительная маммограмма, к A или к X, и какая сторона в записи p(X|A) является условием, а какая следствим, и какое выражение стоит в знаменателе, и все такое прочее.  В нынешнем беспощадно щадящем знакомстве я попытался показать, как работает байесианское мышление, без какого-либо знакомства с формулой, в надежде сократить число мячиков, которыми придется жонглировать читателю.

Даже если Вы один из счастливчиков, которые легко схватывают и применяют абстрактные теоремы, проблема умственного жонглирования все равно встанет перед Вами, когда Вам понадобится объяснять байесианское мышление кому-то другому.

Если Вы чувствуете себя сбитым с толку, мой совет - забудьте Теорему Байеса как уравнение и вспомните про диаграмму.  p(A) и p(~A) наверху.  p(X|A) и p(X|~A) коэффициенты проекции вниз.   p(X&A) и p(X&~A) внизу.  И наконец, p(A|X) равно доле p(X&A) в нижней полоске, то есть в p(X&A)+p(X&~A).  В этом месте нет диаграммы - но разве Вы не можете увмдеть ее в уме?

А если даже диаграмма не помогает, я предлагаю забыть вообще про какую-то Теорему Байеса - и просто пытаться работать с конкретными задачами в терминах игрушек, трубок, искр и всего такого.



Записав Теорему Байеса в виде формулы, мы можем подробно обсудить ее компоненты.

p(A|X) =         p(X|A)*p(A)        
  p(X|A)*p(A) + p(X|~A)*p(~A)

Начнем с p(A|X).  Если Вы сомневаетесь, что такое A и что такое X в Теореме Байеса, начинайте с p(A|X) в левой части уравнения; это самая простая часть для понимания.  A это штука, насчет которой мы хотим что-то узнать.  X это то, как мы ее видим; X это факт, который мы используем, чтобы вынести суждение насчет A.  Запомните, что в любом выражении вида p(Q|P) мы хотим узнать вероятность Q, которую дает ему P, степень, в которой P предполагает Q - в более вразумительной записи, которую уже поздно предлагать статистикам, это выглядело бы как p(Q<-P).

p(Q|P) тесно связано с p(Q&P), но это не одно и то же.  Выраженное как вероятность или доля, p(Q&P) представляет собой отношение вещей, обладающих свойством Q и свойством P среди всех вещей; например, отношение "женщин с раком груди и положительной маммограммой" к численности всех женщин.  Если общее число женщин 10000, и 80 женщин имеют рак груди и положительную маммограмму, то p(Q&P) будет 80/10,000 = 0.8%.  Вы можете видеть, что абсолютное количество, 80, преобразуется в вероятность через отношение к группе всех женщин.  Чтобы сделать это еще понятнее, предположим что имеется группа из 641 женщин с раком груди и положительными маммограммами внутри общей выборки из 89031 женщин.  641 - абсолютное количество.  Если Вы возьмете случайную женщину из всей выборки, то вероятность что это будет женщина с раком груди и положительной маммограммой, равна p(Q&P), или 0.72% в этом примере.

В отличие от p(Q&P), p(Q|P) это отношение количества вещей, которые обладают свойством Q и свойством P к количеству вещей, обладающих свойством P, как например доля женщин с раком груди и положительной маммограммой в группе всех женщин с положительной маммограммой.  Если у нас есть 641 женщина с раком груди и положительной маммограммой, 7915 женщин с положительными маммограммами, и 89031 женщин во всей выборке, то p(Q&P) это вероятность получить одну из 641 этих женщин при случайном выборе из всех 89031, в то время как p(Q|P) это вероятность выбрать одну из 641 женщин из куда меньшей группы в 7915 человек.

На самом деле, p(Q|P) означает ровно то же самое, что и p(Q&P|P), но писать постоянно еще одно P - излишняя роскошь.  Вы и так уже знаете, что обладает свойством P, так что свойство, которое Вы изучаете это Q - несмотря на то, что Вы смотрите на размер группы Q&P в составе группы P, а не на размер группы Q в составе группы P (что было бы явной глупостью [ко всей группе Q относятся и вещи, не обладающие свойством P]).  Смысл свойства с правой стороны выражения заключается в том, что оно задано, и это означает, что Вы работаете только с группой вещей, обладающих этим свойством.   Когда Вы фокусируете свое внимание лишь на этой меньшей, чем целое, группе, многие другие вероятности изменяются.  Если Вы берете свойство P как заданное, то p(Q&P) становится равным просто p(Q) - по крайней мере, по отношению к группе P.  При этом старое p(Q), частота "вещей, которые имеют свойство Q во всей выборке", пересматривается к новой частоте "вещей, которые имеют свойство Q в части выборки, обладающей свойством P".  Когда P задано, то P становится всем нашим миром, и в нем искать Q&P - то же самое, что искать просто Q.

Если Вы сосредоточите Ваше внимание только на группе из капсул синего цвета, то "вероятность, что капсула содержит жемчужину" сразу же станет другой; содержание жемчужин в группе синих капсул отличается от содержания жемчужин во всей выборке.  Условие задачи, свойство, на котором фокусируется наше внимание, всегда стоит в правой части выражения p(Q|P); это P становится нашим миром, всем, что мы видим, и это означает, что "заданное"   P всегда имеет вероятность 1 - именно потому, что оно задано.  Таким образом, p(Q|P) означает "Если вероятность P равна 1, какова вероятность Q?", или "Если мы примем во внимание только вещи или события, для которых P истинно, какой будет вероятность Q?".  Q, находящаяся с другой стороны выражения, не является чем-то известным - его вероятность может быть 10%, или 90%, или любой другой.  Так что когда Вы применяете Теорему Байеса, и пишете в левой части p(A|X) - Вы делаете это с целью уточнить вероятность A после обнаружения X, найти новую вероятность A при условии что Вы знаете X, степень, в которой X влечет за собой A - Вы можете сказать, что X всегда наблюдение или факт, а A это предмет исследования, вещь, о которой мы хотим что-то узнать. [Отредактировать! - С.Щ.]



Правая часть формулы Байеса получается из левой в следующей последовательности:

p(A|X) =  p(A|X)
p(A|X) =  p(X&A)
p(X)
p(A|X) =
     p(X&A)     
p(X&A) + p(X&~A)
p(A|X) =         p(X|A)*p(A)        
  p(X|A)*p(A) + p(X|~A)*p(~A)

Первый шаг, от p(A|X) к p(X&A)/p(X), может показаться тавтологией.  Однако математически это разные выражения.   p(A|X) это одно число, нормализованная вероятность или частота, с которой A встречается в подгруппе X.  p(X&A)/p(X) это процентные частоты, с которыми X&A и X встречаются во всей выборке, но формула работает и тогда, когда X&A и X - абсолютные количества людей, событий или вещей.  p(рак|положительный) это единица процентной доли, частоты, вероятности, всегда между 0 и 1.  (положительный&рак)/(положительный) может быть посчитана как в вероятностях, например как 0.008/0.103, так и в абсолютной численности групп женщин, например как 194/2494.  До тех пор пока и числитель, и знаменатель выражаются в одинаковых единицах, это дает одинаковый результат.

Переход от p(X) в знаменателе к p(X&A)+p(X&~A) - совсем простой шаг, имеющий целью подготовить последующие преобразования.   Тем не менее, распространенной арифметической ошибкой в байесовых вычислениях является деление p(X&A) на p(X&~A), вместо того чтобы делить p(X&A) на [p(X&A) + p(X&~A)].  Например, многие из решающих задачу о раке груди пытаются вычислить апостериорную вероятность, выполняя деление 80 / 950, вместо 80 / (80 + 950).  Я предпочитаю называть такое поведение "ошибкой розы-цветы".  Если Вы покажете детям картинку с восемью розами и двумя тюльпанами, некоторые из них скажут, что на картинке больше роз, чем цветов.  (Технически это может быть названо ошибкой включения множеств.)  Вы должны сложить розы и тюльпаны, чтобы получить количество цветов, которое нужно Вам, чтобы найти долю роз в в составе the flowers.  Вы не можете найти долю роз среди тюльпанов, или долю тюльпанов среди роз.  Когда Вы смотрите на диаграмму, нижняя полоска содержи всех пациенток с положительными результатами.  Это именно то, что видят врачи - пациенток с положительными результатами.  Вопрос в том, здоровая ли это пациентка с положительным результатом, или же больная раком пациентка с положительным результатом.  Чтобы определить шансы, Вы должны посмотреть на долю больных раком пациенток в составе всех пациенток с положительными результатами, поскольку - в который раз! - "пациентки с положительными результатами" это то, что Вы фактически видите.  Вы не должны делить 80 на 950, поскольку это означало бы, что Вы пытаетесь найти долю больных пациенток в числе здоровых, хотя и с положительными результатами маммографии; это все равно что спрашивать, сколько тюльпанов являются розами, вместо того чтобы спрашивать, какой процент цветов составляют розы.  Представьте использование того же метода для нахождения доли здоровых пациенток.  Вы можете поделить 950 на 80, и найти, что она составит 1187%.  Или чтобы быть точным, Вы можете найти, что 1187% больных раком пациентов с положительными результатам будут здоровыми пациентами с положительными результатами.

Последний шаг в выводе формулы Байеса - это переход от p(X&A) к p(X|A)*p(A), как в числителе, так и в знаменателе, и от p(X&~A) к p(X|~A)*p(~A), в знаменателе.

Почему?  Ну, один ответ - потому, что p(X|A), p(X|~A), and p(A) соответствуют начальным условиям, заданным во всех описаниях задач.   Но почему задачи описываются именно таким способом?

Потому что во многих случаях p(X|A), p(X|~A), и p(A) это то, что мы реально знаем; в свою очередь, так получается потому, что p(X|A) and p(X|~A) обычно являются величинами, которые прямо описывают причинно- следственные отношения, в то время как другие величины, полученные из них и p(A), описывают статистические отношения.  Например, p(X|A), следование от A к X, где A это то, что мы хотим узнать, а X - наш способ наблюдать это A, соответствует следованию от наличия рака у женщины к положительному результату маммографии.   Это не только статистическое следование, но и прямая причинная связь; женщина получает положительную маммограмму по причине наличия у нее рака груди.  Маммография специально создана для обнаружения рака груди, и это факт относительно физических процессов тестирования, что она имеет 80% вероятность выявить рак.  До тех пор пока конструкция маммографической машины остается той же, p(X|A) будет равно 80%, даже если p(A) изменится - например, если мы будем проверять группу женщин с высоким уровнем риска, и априорная вероятность иметь рак груди в ней станет 10% вместо 1%.  В этом случае, p(X&A) изменится вместе с p(A), и то же произойдет с p(X), p(A|X), и так далее; но p(X|A) останется на уровне 80%, поскольку это факт относительно самого процесса маммографии.  (Тем не менее, Вы должны убедиться в этом, перед тем как полагаться на постоянство 80%; возможно, что маммография может лучше определять одни виды рака по сравнению с другими.)  p(X|A) один из простых фактов, из которых конструируются сложные факты, такие как p(X&A); p(X|A) является элементарным причинным отношением в сложной системе, и имеет прямую физическую интерпретацию.  Вот почему Теорема Байеса имеет ту форму, в которой мы ее знаем; она предназначена не для решения математических головоломок, а для размышлений о физической вселенной.

Когда вывод формулы завершен, все зависимости с правой стороны уравнения имеют форму p(X|A) или p(X|~A), в то время как в левой части находится зависимость p(A|X) .  Запомните это, и Вы правильно воспроизведете остаток уравнения, независимо от того, начали ли Вы с p(A|X) или с p(X|A) в левой части, правило применимо в любом случае - если Вы начинаете с одного направления следования p(X|A) в левой части, Вы должны закончить противоположным направлением p(A|X) в правой части.  Конечно, это всего лишь перестановка местами обозначений переменных; суть в том, чтобы вспомнить симметрию, а вместе с ней и всю структуру формулы Байеса.

Симметрия возникает потому, что исходные причинно-следственные связи обычно направлены от фактов к наблюдениям, например, от рака груди к положительным результатам маммографии.  А вот основные шаги в мышлении напротив делаются от наблюдений к фактам, например, от результатов маммографии к наличию рака.  Левая часть формулы Байеса это элементарный логический шаг от наблюдения положительных результатов маммографии к заключению об увеличении вероятности рака груди.  Следование записывается справа налево, так что мы пишем p(рак|положительный) в левой части уравнения.  Правая часть формулы Байеса описывает исходные причинные шаги - например, от рака груди к положительной маммограмме, - и поэтому следования в правой части уравнения принимают форму p(положительный|рак) и p(положительный|~рак).

Вот что такое формула Байеса.  Рациональный вывод в левой части, физическая причинность в правой; уравнение между разумом с одной стороны и реальностью с другой.  Помните, как научный метод обернулся частным случаем Теоремы Байеса?  Если Вы желаете выразиться поэтически, Вы можете сказать, что Теорема Байеса соединяет мышление с физической вселенной.

Отлично, мы закончили.



Преподобный Байес говорит:

Теперь Вы посвящены
в Байесианский Заговор.

Дальнейшее чтение:

Если Вам понравилось Доходчивое объяснение байесианского мышления, Вы можете также захотеть прочитать A Technical Explanation of Technical Explanation того же автора, которое намного подробнее рассматривает приложение байесианства к человеческой рациональности и философии науки. Вы можете также получить удовольствие от Twelve Virtues of Rationality и The Simple Truth.

Другие авторы:

E. T. Jaynes:  Probability Theory With Applications in Science and Engineering (full text online).  Теория и практика для Теоремы Байеса и байесианского мышления. Посмотрите также главный труд Jaynes'а, Probability Theory: The Logic of Science.

D. Kahneman, P. Slovic and A. Tversky, eds, Judgment under uncertainty:  Heuristics and biases.  Если Вам кажется, что человеческое мышление часто бывает не байесианским... Вы не ошибаетесь.  Этот ужасающий том каталогизирует некоторые вопиющие жгущие чудовищные зияющие ошибки которые возникают в человеческом познании. Посмотрите также вот эту главу будущей книги в качестве резюме по наиболее известным косякам.

Bellhouse, D.R.:  The Reverend Thomas Bayes FRS: a Biography to Celebrate the Tercentenary of his Birth.  Более "традиционное" представление о жизни Байеса.

Google Directory for Bayesian analysis (courtesy of the Open Directory Project).


About This Document:

An Intuitive Explanation of Bayesian Reasoning is ©2003 by Eliezer S. Yudkowsky.
BayesApplet is ©2003 by Christian Rovner.  (Email address:  Append "tutopia.com" to "cro1@").

Last updated: 2006.06.04, Черновой перевод С.Щеглов: 2013.04.08

Yudkowsky's "Intuitive Explanation of Bayesian Reasoning" and Rovner's "BayesApplet" may both be freely used by any nonprofit organization or educational institution.  No royalties or per-page charges are necessary to reproduce this document as course materials, either in printed form or online.

Praise, condemnation, and feedback are always welcome. The web address of this page is http://yudkowsky.net/rational/bayes.

Thanks to Eric Mitchell, Chris Rovner, Vlad Tarko, Gordon Worley, and Gregg Young for catching errors in the text.

Eliezer Yudkowsky's work is supported by the Singularity Institute for Artificial Intelligence, Inc. If you've found Yudkowsky's pages on rationality useful, please consider donating to the Singularity Institute.


Bibliography:

Bayes, Thomas (1763):  "An essay towards solving a problem in the doctrine of chances."  Philosophical Transactions of the Royal Society.  53: 370-418.

Casscells, W., Schoenberger, A., and Grayboys, T. (1978):  "Interpretation by physicians of clinical laboratory results." N Engl J Med. 299:999-1001.

Dehaene, Stanislas
(1997):  The Number Sense : How the Mind Creates Mathematics.  Oxford University Press.

Eddy, David M. (1982):  "Probabilistic reasoning in clinical medicine:  Problems and opportunities."  In
D. Kahneman, P. Slovic, and A. Tversky, eds, Judgement under uncertainty: Heuristics and biases. Cambridge University Press, Cambridge, UK.

Edwards, Ward (1982):  "Conservatism in human information processing." 
In D. Kahneman, P. Slovic, and A. Tversky, eds, Judgement under uncertainty: Heuristics and biases. Cambridge University Press, Cambridge, UK.

Gigerenzer, Gerd and Hoffrage, Ulrich (1995):  "How to improve Bayesian reasoning without instruction: Frequency formats."  Psychological Review. 102: 684-704.

Jaynes, E. T. (1996):  Probability Theory With Applications in Science and Engineering.  Posthumous manuscript, placed online.  http://bayes.wustl.edu/etj/science.pdf.html



Back to Top