Вероятность успеха
Про блондинку, динозавра, преподобного Томаса Байеса и вероятность успеха при малой выборке – нехватке статистической информации (например пусков новых ракет или удачных свиданий)
Часто можно услышать довольно известный анекдот, который в разных вариантах звучит следующим образом: Блондинка сдаёт экзамен по теории вероятностей и профессор, периодически поглядывая на её декольте, жадно вопрошает: «Скажите, голубушка, а вот какая вероятность того, что выйдя после экзамена из института на улицу вы встретите, ну, ну скажем динозавра?». Блондинка томно хлопает ресницами, поджимает сочные губки и тихо отвечает: «50/50».
Профессор закашливается:
- Что вы имеете в виду?
- Ну как что, или встречу или нет!
На этом месте полагается смеяться, радостно клеймя блондинок позором. Но так ли это?
Одна из хитростей и сложностей теории вероятностей — это вопрос, что нам делать и как определить вероятность успеха, когда размер выборки не очень велик или, иными словами, у нас крайне мало статистической информации. Предположим, у новой ракеты был только один пуск и этот пуск был успешный. Насколько безопасным будет следующий пуск? Какая вероятность успеха второго пуска?
Далёкий от теории вероятностей и наивный адепт частотного подхода скажет примерно так: «Был один пуск, был один успех, следовательно, разделив одно на другое мы получим вероятность успеха равную 1», полностью исключая возможность каких-либо отказов.
И умом, и чутьём мы понимаем, что рассуждать так полностью неверно. Предположим, у вас есть выбор: полететь на ракете, у которой было 99 успешных пусков и один сбой или на ракете, у который был всего 1 пуск, и он был успешный. Что бы вы выбрали? К гадалке не ходи (а обратись лучше ко мне за консультацией), скорее всего вы выберете ракету, которая уже слетала 100 раз, и ваша вера в неё основана на бо́льшем количестве информации.
Простая статистика не работает должным образом, когда мы имеем дело с небольшим объёмом выборки. Нам нужна формула, которая будет учитывать тот факт, что мы практически ничего не знаем. Нам поможет Байесовская статистика!
Удивительно, но сельский священник, преподобный Томас Байес в перерывах между литургией и булочками с маслом вывел в буквальном смысле душеспасительную формулу, которая помогает в XXI веке оценивать вероятность успеха космических пусков.
В отчёте о космических пусках я нашёл формулу Байеса для того, чтобы правильно оценить вероятность успеха при малой выборке:
P= (k+1)/(n+2)
Где P - вероятность успеха следующей попытки, k - количество успешных событий на данный момент, а n - общее количество событий на данный момент. Формула называется «Байесовская оценка первого уровня средней прогнозируемой вероятности успеха». Следовательно:
Для новой ракеты: k = 1, n = 1, поэтому P = 0.67
Для многократно слетавшей ракеты: k = 99, n = 100, поэтому P = 0.99
Для новой ракеты вероятность успеха составляет 2/3, что следующий полет будет удачным. Это более объективная оценка нашего недостатка информации относительно новой ракеты. Да, у нас был один успешный полёт, и это хорошо, но мы все ещё мало что знаем о новой ракете. Для многократно слетавшей ракеты формула предсказывает вероятность успеха в 0,98, что почти соответствует обычной оценке вероятности. Если мы разделим 99 успехов на 100 пусков мы получим 0,99.
А что, если пусков вообще ещё не было? Давайте воспользуемся формулой. Тогда k = 0 и n = 0. Байес говорит, что вероятность успеха составляет 0,5. Шанс пятьдесят на пятьдесят, в этом есть смысл. Мы ещё ничего не пробовали, и у нас нет никакой информации, так что ещё мы можем сказать?
Этот последний пункт поднимает сложную проблему с байесовскими рассуждениями. Мы должны сделать начальное предположение о вероятности. Шанс 50-50 звучит разумно, но это все ещё предположение.
Блондинка была права?
Конечно, формула относится не только к ракетам. Это формула позволяет оценить вероятность успеха для всего, что является успехом / неудачей, истиной / ложью.
С помощью формулы Байеса мы можем, например, оценить вероятность счастливого свидания, вероятность удачной доставки пиццы и многого другого.
Попробуйте посчитать на досуге Байесовскую вероятность успеха с помощью моего калькулятора:
Интересная формула, есть где-нибудь ещё её упоминание?
Нашёл только текст 2009 года на английском, на котором основана эта статья https://moleseyhill.com/2009-09-22-bayesian-probability-of-success.html
Есть где-нибудь ещё упоминание
В отчете 2018 года более полное описание применения формул http://www.spacelaunchreport.com/log2018.html
Maximum Liklihood Estimate (MLE)= x/n
where x=success, n=tries
For MLE=0.9, use Laplace Method = (x+1)/(n+2)
Lewis, J. & Lauro, J., "Improving the Accuracy of Small-Sample
Estimates of Completion Rates", Journal of Usability Studies,
Issue 3, Vol. 1, May 2006, pp. 136-150.
* Adjusted-Wald 95% Confidence Interval Range Determined
as Follows.
Pw = (x+1.9208)/(n+3.8416)
CI = Pw +/- 1.96*sqrt[(Pw*(1-Pw))/(n+3.8416)]
(maximum range 1.00)
О, нашёл- предлогаю перевести (возможно совместно) эту статью
http://uxpajournal.org/wp-content/uploads/sites/8/pdf/JUS_Lewis_May2006.pdf
Кирилл, спасибо за ценные комментарии. Перевести можно, если переведёте - с удовольствием опубликую с упоминанием вашего авторства.