
Ответ на пост «Смерть под парусом»2
Такое ощущение, что даже в названии яхты "Байесиан" какая-то пасхалочка зарыта. Действительно, столько случайностей и совпадений...
Ответ на пост «Школа ...»5
Ох меня припекло опять чутка...
Кстати, ведь, да. Потому что это была бы иллюзия финансовой грамотности. А школьный курс биологии хоть как-то защищает более-менее адекватных от гомеопатии и антиГМОшной шизы.
А неадекватным уже ничто не поможет.
Вообще, если как следует задуматься, то в школе давали необходимый фундамент для финансовой грамотности. К примеру, про логарифмы рассказывали, про прогрессии, про суммы ряда и немного про пределы. Даже, кажется, чуточку про интегралы.
Это база, с помощью которой можно понять при желании и сложный процент в кредитах, и куда более простые вещи.
При этом не было никакого смысла изучать конкретно как и куда вписывать показания счетчиков и вносить деньги за коммунальные платежи. Это всё меняется из года в год. Не было никакого проку рассказывать про конкретные финансовые пирамиды, а вот про пирамиды вообще и про суть акций, про устройство денежной системы - это было в рамках школьной экономики. Просто детям это не шибко-то интересно, и усвоено оно было на том же уровне, что и "устройство клетки лука".
Любые знания нужно уметь преподнести и подать так, чтобы они не прошли через мыслительный тракт бесследной диареей, а как-то осели в голове. Для этого нужно иметь талантливых грамотных учителей, которые всегда и везде редкость.
Вот чего реально не хватает в школьном курсе - это понимания формулы Байеса, основ критического мышления и теории вероятностей. Понимания что такое когнитивные искажения, какие они бывают и как не ошибаться натыкаясь на них.
Клетки лука, валентности в химии, закон сохранения энергии и термодинамика, тангенсы с косинусами, полезные ископаемые на контурных картах, даты куликовской битвы - это всё кирпичики, которые хоть как-то делают в головах детей мир не магическим нагромождением того, что "одна бабка сказала", а формируют стройную картину с намёком на то, что всё можно при желании познать, во всём разобраться.
Попробуйте вырезать клетку лука из программы, и из чего у нас теперь состоят ткани? Из волшебного пластилина? Нас не грузили сложными биохимическими реакциями в этой клетке, нам просто дали простейшую базовую информацию, это не рокет сайнс, чего ныть-то?
Забавно, что школьники, а часто и малограмотные родители, берутся судить о том, что должно быть в школьной программе, а что не должно быть, но при этом все судят с позиции истины в последней инстанции. Мол все тупые, а я один умный и мудрый непомерно. Да, везде возможны ошибки и никто не говорит, что всё идеально, но наивно полагать, что не подумав и минуточку о чем-то мы придумаем как правильнее и лучше.
Состав школьной программы - это вопрос дискуссионный и не простой. Интересно про это порассуждать. Наивно думать, что сейчас там "всё не так" и одним махом можно сделать лучше.
Пьём чай с популяризатором науки Александром Панчиным
Пьём китайский чай с популяризатором науки Александром Панчиным и говорим про научный метод и рациональность. Обсудили проблему демаркации науки, теорию принятия решений, бритву Оккама и доказательную медицину. А ещё затронули такие редко обсуждаемые темы как Ограбление Паскаля, Эмерджетность и Парадокс Ньюкомба.
Ответ на пост «Вдогонку теме про аборты»3
Тут в комментариях начали обсуждать, что есть скрининги, которые показывают синдром Дауна и всё так хорошо, делай тест, да не рожай себе детей с такими заболеваниями.
Такие исследования действительно есть, но важно помнить, что показывают они вероятность родить ребенка с синдромом Дауна.
И, казалось, вероятность самых инновационных тестов 99.9% — красота! А вот нет.
Какова вообще вероятность, что у ребенка будет синдром Дауна?
Для примера взяла значения из википедии[1]. Нам не нужна сильная точность, достаточно понимать порядок.
Вероятность эта зависит от возраста: "вероятность синдрома возрастает в зависимости от возраста матери — с менее чем 0,1 % в 20-летнем возрасте до 3 % в 45-летнем — и отца".
Но как считать такие вероятности? Подобные задачи (например, какова вероятность встретить пинглина, при условии, что вы на Северном полюсе) — это всё так называемые условные вероятности, которые отлично описал Томас Байес.
А теперь немного теоремы Байеса:
P(B) — вероятность положительного теста
P(A_1) — вероятность, что ребёнок действительно болен
P(A_2) — вероятность, что ребёнок не болен
P(B|A_1) — вероятность положительного теста при условии, что ребёнок действительно болен
P(B|A_2) — вероятность положительного теста при условии, что ребёнок не болен
Мы хотим посчитать вероятность, что ребенок болен и при условии положительного теста. Т.е. P(A_1|B)
По формуле Байеса:
P(A_i|B) = P(B|A_i)P(A_i) / P(B)
P(B) = Сумма произведений P(B|A_i)*P(A_i)
Давайте рассмотрим два варианта.
***
Первый, где мать молодая и вероятность родить ребенка с синдромом Дауна составляет, пусть будет 0.5% (где-то для тридцатилетних, получается).
P(B) — вероятность положительного теста = P(B|A_1)*P(A_1) + P(B|A_2)*P(A_2)
P(A_1) — вероятность, что ребёнок действительно болен = 0.005 (т е 0.5%)
P(A_2) — вероятность, что ребёнок не болен = 0.995 (полная вероятность всегда равна 1, поэтому 1-0.005 = 0.995)
P(B|A_1) — вероятность положительного теста при условии, что ребёнок действительно болен = 0.999 (т е 99.9%)
P(B|A_2) — вероятность положительного теста при условии, что ребёнок не болен = 0.001 (т е как часто тест ошибается)
Теперь посчитаем вероятность положительного теста:
P(B) = P(B|A_1)*P(A_1) + P(B|A_2)*P(A_2) = 0.999*0.005 + 0.001*0.995 = 0.0059
Все величины у нас есть, теперь можем посчитать, какова вероятность, что ребенок имеет синдром Дауна при условии положительного результата теста (который, напомню имеет точность 99.9%).
P(A_1|B) = P(B|A_1)*P(A_1) / P(B) = 0.999*0.005/0.0059 = 0.846 = 85%
Т.е. 15 из 100 детей в действительности будут здоровы, когда тест показал обратное.
***
Второй вариант:
P(A_1) = 3% = 0.03
Тогда P(A_2) = 0.97
И
P(B) = P(B|A_1)*P(A_1) + P(B|A_2)*P(A_2) = 0.999*0.03 + 0.001*0.97 = 0.03094
Следовательно
P(A_1|B) = P(B|A_1)*P(A_1) / P(B) = 0.999*0.03/0.03094 = 0.968 = 97%
Тут ситуация уже лучше, т к только 3 ребенка из 100 будут здоровы, когда тест показал обратное.
Заключение:
Тема с абортами вообще непростая. И если так случилось, что вам или вашим знакомым сказали, что ребенок будет с синдромом Дауна (или каким-либо ещё заболеванием, мы ведь понимаем, что от названия болезни принцип расчётов не измениться, только значения вероятностей), не пренебрегайте делать дополнительные тесты.
Ведь с количество тестов мы уменьшаем вероятность ошибки (это тоже можно посчитать, но возможно позже, если будет актуально).
Всем хорошего дня.
P.S. Вроде везде проверила, правильность порядков (что 0.5% это 0.005, например), но если найдёте ошибки, напишите пожалуйста.
Ищи филолога за пять сольди!
Теорема Барабаса позволяет оценить размер букваря методом Папы-Карло.
Я правильно ответил на все вопросы, из чего умная железяка сделала вывод, что мой вокабляр - 26878 слов, из чего я сделал вывод о том, что 26878 слов - вокабуляр умной железяки.
Ай да Пу Син, Су Кин Сын.
Александр Силаев, "Философия без дураков" (отрывок)
Если кого-то смущают такие штуки, обещаю – это первая и последняя формула в книжке. Но она и правда очень важна. Люди делятся на тех, кто ее уже знает (и может пропустить несколько абзацев), и тех, кто не знает. Я сейчас кратко означу, что это такое, и если будет по-прежнему непонятно – не беда. Можно спокойно читать дальше с этим непониманием, можно специально почитать что-то про это, ключевые слова – теорема Байеса. Про это написано очень много людьми, которые куда больше моего в этом понимают и куда успешнее объясняют.
Итак, P(A/B) = (P(B/A) × P(A)) / P(B)
Эта формула – про что? Она лежит в основе современной теории вероятности, и она про что угодно. Точнее всего сказать, что она про то, как должно работать (если по уму) наше познание. Логика науки действительно работает как-то так, когда мы мыслим хорошо и точно – мы приближаемся к этому методу.
В этой формуле:
P – вероятность.
A – наше убеждение в чем-либо.
B – свидетельство, как-то влияющее на убеждение (например, результаты опыта или буквально свидетельские показания).
P (A) – априорная вероятность факта или события. Можно также сказать, начальное убеждение.
P (A/B) – апостериорная вероятность. То, насколько событие вероятно с учетом свидетельства В.
P (B/A) – вероятность свидетельства в случае истинности А.
P (B) – вероятность получить данное свидетельство.
Как вообще происходит процесс познания? Как правило, о чем бы мы ни задумались (о погоде, природе, повышении цен и своей зарплаты, наступлении коммунизма, бытии Божьем), у нас уже есть какое-то смутное представление, какая-то вероятность. Возможно, взятая с потолка. Многие скажут, что взять нечто с потолка – не лучшее начало. Конечно, не лучшее. Но лучше так, чем никак. Первый ход в этой партии может быть сколь угодно странен: «Бог существует с вероятностью 50 %», «цена вырастет с вероятностью 80 %», «Маша согласится с вероятностью 30 %». Но если дальше верно учитывать новые свидетельства и, главное, не бояться их получать, мы довольно быстро проясним ситуацию и с ценой, и с Машей, и даже с Богом. И главное, не так уж важно, с какой нулевой гипотезы мы начали – важно, честно ли пошли по пути, и все честные пути по мере прохождения будут сходиться к одной цифре.
Давайте поясним на самом простом примере, как это работает. Взять ли зонт, выходя из дома? У всех разное отношение к дождю и к ношению зонта вхолостую. Допустим, пороговое значение, при котором мы возьмем зонт, – 20 %-ная вероятность дождя, или менее 80 % вероятности «без осадков», что можно записать как 0,8. Есть статистика по данному месяцу в данном месте – без осадков 60 % всех дней, то есть 0,6. Это наша априорная гипотеза. И если у нас есть только она, без зонта сегодня не обойтись, как и всегда.
Но допустим, у нас есть дополнительное свидетельство – прогноз погоды. Предположим, что синоптики у нас так себе и, давая прогноз на дискретное событие (вроде дождь / без осадков), они правы лишь в 70 % случаев. Вы видели много их прогнозов и сами вывели эти 70 %. Прогноз синоптиков «сегодня без осадков». Вопрос, брать ли зонт?
Иными словами, нам нужно вывести P (A/B), зная все остальное. Тогда в числителе у нас 0,7 × 0,6 = 0,42. Это вероятность всех ситуаций, при которых прогноз «без осадков» совпадает с их реальным отсутствием. Это число надо поделить на P (B). Но P (B) = P (B/A) × P (A) + P (B/not A) × P (not A). То есть сумму всех вероятностей, когда синоптики дают такой прогноз, включая те случаи, когда он ошибочный. В знаменателе будет 0,6 × 0,7 + 0,4 × 0,3 = 0,54. Дальше 0,42/0,54 = 0,777. Это меньше, чем пороговое значение 0,8, значит, зонт берем.
Вообще, вывод такой: в данном месяце не обращать внимание на прогнозы погоды, пока их точность не повысится или пока не вырастет ваша толерантность к осадкам. Вы при любом прогнозе должны носить свой зонт, пока вам настолько неприятен дождь.
Это простой пример того, как наука считает довольно сложные вещи. Главная фишка в том, что одних результатов опыта мало. Мы меняем наши убеждения на основании опыта, но нужно учитывать: а – вес априорных убеждений, б – погрешность свидетельств. Тогда, если мы выбиваем из мира достаточно свидетельств, наша картина мира меняется куда надо независимо от начальной точки.
И что, мы предлагаем проделывать такие вычисления по любому мало-мальски значимому поводу? Скажем больше: они уже вершатся без нашего ведома. Наш мозг – это байесианский компьютер на углеродной основе, примерно вот таким он и занят. Зачастую – бессознательно. Выслушав прогнозы синоптиков о ясной погоде, он почему-то все равно выбирает зонт…
Но мы обещали показать, в чем заключается Абсолютная Истина и почему это очень-очень плохо. Как минимум, это просто скучно, как максимум – плохо совместимо с выживанием человечества. Напомним формулу P (A/B) = P (B/A) × P (A) / P (B), где P (A) = 1. Говоря простым языком, это априорная вероятность, взятая за 1, или, если кому-то так больше нравится, за 100 %.
Легко увидеть, что это исключает дальнейшее познание. Если P (A) = 1, ни одно свидетельство ничего не изменит, мы получили окончательный ответ. Или хуже того – мы начали с окончательного ответа. Если P (A) = 1, то P (not A) = 0, и P (B) = P (B/A) × P (A) + P (B/not A) × P (not A) = P (B/A) × P (A). Числитель всегда равен знаменателю, и независимо от любых свидетельств P (A/B) = 1.
Если с языка цифр перевести на русский, то…
Если мы в чем-то уверены на 100 %, это означает, что нет такого опыта, который заставил бы нас изменить свое убеждение.
Апостериорная вероятность будет всегда равна априорной, если первая равна 1. При этом весь мир может говорить против нас, уже неважно. Самое сильное свидетельство уже ничего не изменит. Познавать нечего – формально считается, что мы дошли до конца, и это вправду конец, локальный когнитивный коллапс. Вы как бы подписали обязательство (и поклялись жизнью!) никогда не менять свое мнение по некоему вопросу – вам не страшно от подобной необратимости? Вот если бы наша начальная уверенность равнялась хотя бы 0,9999, с этим можно было бы что-то сделать. Если мы оставляем хотя бы 0,01 % вероятности, что наши истины неверны, они могут измениться. Даже если мы оставляем вероятность один против триллиона – правда может просочиться в эту щель и все исправить, если мы все-таки были неправы. Но P (A) = 1 – это конец игры по определению.
Но это же и есть определение Абсолютной Истины! Если мы считаем наше убеждение лишь вероятным, пусть даже сильно вероятным, какая же это Истина с большой буквы, если ее можно пересмотреть в процессе? Это всего лишь предпочтительная гипотеза, но когда люди жаждут истину, они, я подозреваю, хотят чего-то большего. На временную гипотезу они согласятся с чувством, что им недодали, что это еще не то. Но не тем – опасным, загоняющим в тупик не тем – была бы как раз истина, как ее хотят. Сколько раз людям казалось, что их убеждения верны на 100 %? Человечество развивалось лишь потому, что эти 100 % уверенности все-таки никогда не были по-настоящему 100 %, и это позволяло сделать шаг вперед.
На всякий случай: ни одно научное знание не подходит под это определение истины с P (A) и P (A/B) = 1.
Нам могут возразить – а как же математика? Мы же полностью и окончательно уверены, что дважды два четыре? Да, на это можно ставить с сильной уверенностью. Миллион к одному, триллион к одному, если вас не пугают большие числа – гугол (10^100) к одному. Но все равно не бесконечность. Если вы опускаете в коробку с двумя яблоками еще два яблока, велика вероятность (хоть гугол к одному, если вы бесстрашный человек), что обнаружите там четыре яблока, но все равно не бесконечная. Самое простое, почему там может оказаться три яблока, или пять, или, возможно, черная кошка: мы живем в матрице, которая до поры притворялась нашим миром и вот, как только вы наконец решили умножить свои яблоки, проявила свое истинное лицо. Какое угодно лицо, заметим, с почти любыми законами. Два яблока плюс два яблока в этом мире могут равняться черной кошке, почему бы и нет? Так что ставить гугол к единице против матрицы я, например, поостерегся бы. Виртуальная реальность сильно вероятнее, даже если в нее не верить.
Чем же тогда занимается наука, если не открытием окончательных истин (как выяснили, подозрительных и опасных)?
Согласно Карлу Попперу, наука производит не истины, а теории, лучшие, чем альтернативные.
И фронтир науки – это не набор истин, а набор лучших на сегодня теорий. Возможно, для кого-то звучит странно, но это мейнстрим уже более полувека.
Если что, сама теория Поппера – тоже не истина, а лучшая в моменте гипотеза на данную тему. Не больше, потому что никакого «больше» не бывает. Если кому-то кажется, что он поймал нечто «большее», то увы, в лучшем случае у него это пройдет.
Давайте сразу будем скромнее. Во-первых, 100 % уверенности не может быть. Ни в чем. Во-вторых, этого и не надо. Достаточно быть более правым, чем обычно, здесь и сейчас. Не волнуйтесь, этого хватит. Вы не сдаете экзамен, где можно и нужно набрать сто баллов из ста, причем ответы заранее известны – хотя и не вам. Метафора экзамена вообще не очень уместна.
Исследуя, вы скорее соревнуетесь, чем сдаете экзамен.
Это разные занятия, к ним разный подход. При этом никто не знает, что такое мировой рекорд в познании. Давайте приведем самую скромную формулу самого большого успеха. Быть меньшим профаном в данном вопросе, чем кто-либо на свете. Можно сказать «большим спецом», но мне симпатичнее фраза «меньшим профаном».
Итак, любая теория – это набор вероятностных суждений (при этом можно как угодно заблуждаться насчет их вероятности, сейчас это неважно). Но в обыденном языке истина – не то же самое, что вероятностное суждение, она потому и истина, что окончательная. И тогда лучшее на Земле знание не имеет отношения к такой истине. Тому, кто обладает окончательной истиной, можно посочувствовать. Но это рискованно. Он вам, скорее всего, не посочувствует.
P (A) = 1 в формуле Байеса – это диагноз фанатика.
Его радует то, что пугает нормального человека. Представьте, что некто поклялся жизнью не менять свое мнение, после чего его жизнь заиграла новыми красками, приобрела смысл и т. д. «Не менять свое мнение» синоним «исключить развитие». И пусть буквально такой клятвы не произносят, многие ведут себя так, как будто ее давали – в обмен на то, что они называют смыслом.
Теорема Байеса. Как математика меняет мышление каждого из нас?
В первую очередь, необходимо понимать, что теорема Байеса - это не голословное математическое суждение, не какие-то абстрактные буквы и цифры, а настоящий фундамент мышления, подразумевающий ясность, чистоту и непредвзятость, который затыкает "за хвост" любую хваленую интуицию! Например, представьте ситуацию и ответьте на такой вопрос:Вас диагностируют на наличие некоторого заболевания, которое имеется у 1 процента ваших ровесников. Тест, который Вам делают, дает верные результаты в 95 процентах случаев. Какова вероятность Вашей болезни, если Ваш тест положительный ?
Если Вы ответили "около 95%, "чуть больше 90%", Вам обязательно нужно прочитать этот текст, потому что Вы абсолютно не правы! Да и всем остальным, кто "почуял неладное", лучше получить строгое математическое обоснование своих сомнений. Поехали!
Томас Байес - британский священник, которому основной род занятий не мешал быть членом Королевского научного общества в 18 веке.
Начнем с пары простых задач (предварительных знаний не нужно!)
Перед Вами находятся три урны. В первой урне 4 черных шара и 6 белых шаров, во второй урне только белые, а в третье урне - только черные шары. Если вытащить шар из наудачу выбранной урны, какова вероятность, что он будет белым?Я ОЧЕНЬ подробно разберу решение. В дальнейшем, Вы будете щелкать такие задачи как орешки.
Начинать решение необходимо с составления перечня гипотез - предположений, которые, по-простому, не пересекаются и приводят к необходимому событию А (в данном случае - событию вытаскивания наудачу белого мяча). В данном случае есть три несовместные гипотезы:
Шар взяли из первой урны - B1.
Шар взяли из второй урны - B2 .
Шар взяли из третьей урны - B3.
Теперь по шагам.
Если урна выбрана наугад, значит вероятность выбрать одну из них равна 1/3.
В первой урне 4 черных и 6 белых шаров, значит, если гипотеза B1 верна, то вероятность вытащить белый шар равна 6 / (4+6) = 0,6.
Если верна гипотеза B2, то вероятность вытащить белый шар равна 1, ведь в этой урне только белые шары!
Напротив, если верна гипотеза B3, то вероятность вытащить белый шар равна 0.
Теперь стоит сказать о зависимых и независимых событиях. Например, два события - выбор первой урны и вытаскивание из неё белого шара являются зависимыми, т.е. как-будто следующими друг за другом. В таком случае их вероятности по правилу перемножаются.
Для первой урны: 1/3 (вероятность выбора урны) * 0,6 (вероятность выбора белого шара) = 0,2.
Для второй урны: 1/3*1 = 1/3.
Для третьей урны: 1/3 * 0 = 0.
Вероятность независимых или несовместных событий же, напротив, складывается, насколько нам известно из формулы полной вероятности. Тогда чтобы получить ответ, необходимо сложить 1/3 и 0,2 и получить вероятность наступления события А равную 8/15.
А теперь немного изменим задачу и подберемся к Байесу
Вы не глядя вытащили белый шар, какова вероятность, что он из первой урны? Пусть
А - событие, в результате которого Вы достали белый шар.
B1 - гипотеза, согласно которой Вы достали его из первой урны.
Условная вероятность наступления события А при справедливости гипотезы B1 как раз и рассчитывается по формуле Байеса:
А теперь сравните две вероятности в двух задачах. В той и другой, напомню, шла речь о вытаскивании белого шара. Но в первой задаче мы искали априорную вероятность (примерно 0,533), а во второй апостериорную (0,375), т.е. уже опираясь на некий опыт.Таким образом, опыт даёт информацию для переоценки вероятности!
Вернемся же к решению задачи из начала статьи
Пусть B1 - вероятность заболевания. А - вероятность получения положительного результата. Тогда
P(A)=0,01*0,95 (вероятность болезни при положительном тесте) + 0,99*0,05 (ложноположительный результат, болезни нет)= 0,059.
P(B1) = 0,01 ( болеет 1% ровесников).
Наконец, вероятность безошибочности теста - 0,95.
(0,01*0,95)/0,059=0,161=16,1% (!!!).
Таким образом, вероятность заболевания не 90%, даже не 50%, а всего лишь 15 %. Вот так глобально отличается строгая математическая оценка от интуитивной.
Больше математики в Телеграм - Математика не для всех