т. орд, р. хиллербранд, а. сандберг проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками.

Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками. Probing the Improbable: Methodological Challenges for Risks with Low Probabilities and High Stakes Toby Ord, Rafaela Hillerbrand, Anders Sandberg* * Future of Humanity Institute, University of Oxford. http://arxiv.org/ftp/arxiv/papers/0810/0810.5515.pdf Некоторые риски имеют исключительно высокие ставки. Например, всемирная пандемия или столкновение с астероидом могу убить более миллиарда людей. К счастью, научные вычисления часто дают очень низкие оценки вероятности таких катастроф. В этой статье мы хотим отметить, что есть важные новые методологические проблемы, которые возникают при оценке рисков глобальных катастроф, и мы сосредотачиваемся на проблеме оценки вероятностей. Когда эксперт даёт калькуляцию вероятности некоторого исхода, в действительности он даёт вероятность этого исхода при условии, что его доказательство является безупречным. Однако его доказательство может быть ложным по ряду причин, таких как ошибки в используемой теории или ошибки в вычислениях. Если оценка вероятности, даваемая неким доказательством, уменьшается за счёт того шанса, что само доказательство содержит ошибки, то тогда эта оценка находится под подозрением. Мы рассмотрим эту идею формально, объясняя попутно, чем она отличается от подобных неопределённостей модели и неопределённости параметров. Используя оценки рисков Большого Адронного Коллайдера в качестве тестового примера, мы покажем, насколько серьёзна может быть эта проблема, когда речь идёт о рисках глобальной катастрофы и как наилучшим образом ее решать.

1. Введение Падения больших астероидов являются крайне маловероятными событиями1. Однако правительство тратит значительные суммы на проблемы связанных с этим рисков. Именно большой возможный ущерб, то есть большие ставки в игре, являются тем, что делает эти проблемы стоящими исследования. Исследование рисков включает в себя как рассмотрение размеров ставок, так и вероятностей этих событий. Если риск угрожает жизням огромного числа людей, то является не только рациональным, но и морально обязательным исследовать этот риск в деталях и постараться определить, что мы можем сделать, чтобы уменьшить его. В этой статье исследуются риски с низкой вероятностью, но большими ставками. Во втором разделе мы покажем, что оценки вероятности в научном анализе не могут быть приравнены самой вероятности того, что эти события случатся. Вместо вероятности того, что событие случится, научный анализ даёт вероятность события при условии, что данное доказательство верно. Хотя это 1

Эксперты дают оценку вероятности в 1 к миллиарду (Near-Earth Object

Science Definition Team 2003)

касается всех вероятностных оценок, мы покажем, как это становится особенно важно после некого порогового уровня. Чтобы продолжать, нам следует кое-что узнать о надёжности доказательства. Обычно при анализе рисков это делается через анализ различий между неопределённостью модели и неопределённостью параметров. Мы постараемся доказать, что эта дихотомия не очень хорошо подходит для оценки надёжности теорий, которые входят в оценку рисков. Более того, эта дихотомия не учитывает неосознанно сделанные ошибки. Вместо этого в третьем разделе мы предлагаем трёхуровневую классификацию различий между теорией доказательства, моделью и вычислениями. Объясняя это разделение более детально, мы проиллюстрируем его историческими примерами ошибок во всех трёх областях. Мы покажем, как при конкретной оценке рисков можно использовать предложенное разделение теория-модель-калькуляция, чтобы вычислить надёжность данного доказательства и, таким образом, увеличить надёжность вероятностной оценки редких событий. Недавно возникли опасения, что высокоэнергетичные эксперименты в области физики элементарных частиц на таких установках как RHIC (Коллайдер тяжёлых релятивистских ионов) и на Большом адронном коллайдере в ЦЕРН, в Женеве, могут угрожать человечеству. Если эти риски реальны, эти эксперименты представляют угрозу человечеству, которую можно избежать, просто не проводя эти эксперименты. В 4 разделе мы применим методы, разработанные в этой статье, к нынешним дебатам о безопасности экспериментов в области физики высоких энергий. Мы рассмотрим опубликованные отчёты по безопасности в свете наших находок и дадим рекомендации по безопасности для будущих исследований. В последнем разделе мы вернёмся к главной проблеме оценки низковероятных рисков. Мы хотим подчеркнуть, что результаты этой статьи не должны интерпретироваться как антиинтеллектуализм, но как аргументы в пользу того, чтобы сделать заполненную шумом и ошибками природу научных и технических исследований предметом интеллектуального размышления, особенно в тех случаях, когда вероятности очень малы и ставки очень велики. 2. Оценка вероятностей Предположим, что вы прочитали некий отчёт, который исследует некий возможный риск глобальной катастрофы и в котором делается вывод, что вероятность глобальной катастрофы составляет один к миллиарду. Какую вероятность вы должны приписать тому, что эта катастрофа случится? Мы утверждаем, что прямое использование оценки, даваемое этим отчётом, является наивным. Это связано с тем, что авторы отчёта подвержены ошибкам и их доказательство может содержать скрытые неточности. То, что нам говорится в этом отчёте – это не вероятность катастрофы, а вероятность

катастрофы, при условии, что доказательство является верным. Даже если аргумент выглядит непробиваемым, шансы на то, что он содержит критическую ошибку могут быть гораздо выше, чем один на миллиард. В конечном счёте в выборке из миллиарда выглядящих неуязвимыми доказательств наверняка найдутся те, которые содержат скрытые ошибки. В результате наша наилучшая оценка вероятности катастрофы может быть значительно выше, чем даваемая в отчёте2. Давайте использовать следующие обозначения: X = катастрофа происходит, A = доказательство истинно. В то время как мы в действительности интересуемся P(X), отчёт даёт нам только оценку P(X|A), поскольку в нём не может приниматься во внимание вероятность его же собственной ошибки3. Из аксиом теории вероятностей мы знаем, что P(X) связано с P(X|A) следующей формулой: (1)

P(X)=P(X|A)P(A)+P(X|-A)P(-A) .

Дл использования этой формулы для получения P(X) нам потребуются оценки вероятности того, что доказательство верно P(A), и оценка вероятности того, что катастрофа случится, если доказательство неверно P(X|-A). Очень вряд ли нам удастся получить точные оценки этих вероятностей на практике, но мы увидим, что даже грубых оценок вероятности достаточно, чтобы изменить наш взгляд на определённые калькуляции рисков. Особый весьма распространённый случай касается отчётов, которые утверждают, что Х абсолютно невозможно. Однако, это говорит нам только о том, что X невозможно при условии, что все наши нынешние убеждения верны, то есть что P(X|A)=0. Но из уравнения (1) мы видим, что это полностью согласуется с тем, что P(X)>0, поскольку доказательство может содержать ошибки. Рисунок 1 является простой графической репрезентацией этой основной идеи.

2

Научные аргументы также иногда являются ошибочными по причинам сознательного мошенничества, однако мы не будем рассматривать это конкретный риск в данной статье. 3

Доказательство может принимать в расчет возможность, что некое субдоказательство является ложным. Например, оно может предложить два альтернативных суб-доказательства, чтобы доказать одну и ту же точку зрения. Мы одобрительно относимся к такой практике и подробнее рассматриваем ее в разделе 4. Однако ни одно доказательство не может принимать в расчёт вероятность того, что оно является ложным – это потребует ещё одного более высокоуровневого доказательства.

Квадрат слева представляет пространство возможностей, подобное описанному в научном отчёте, где чёрная область соответствует тому, что катастрофа случилась, а белая область – что не случилась. На вертикальной оси обозначены вероятности того, что событие случилось, и что не случилось. В этом представлении игнорируется возможность того, что рассуждение неверно. Чтобы учесть эту возможность, мы можем обозначить её на квадрате справа. Белая и чёрная область сократились пропорционально вероятности того, что доказательство верно, а новая серая область представляет вероятность того, что доказательство неверно. Теперь горизонтальная ось также ортонормированна и показывает вероятность того, что доказательство неверно. Чтобы продолжить наш пример, предположим, что доказательство, приведённое в отчёте, выглядит очень надёжным, и наша наилучшая оценка вероятности того, что в нём содержится ошибка составляет 1 к 1000 (P(- A)=10**-3). Другое неизвестный член в уравнении 1, а именно P(X|-A), в общем случае гораздо труднее определить, но давайте предположим, что в нашем примере мы считаем, что крайне маловероятно, что событие произойдёт, даже если доказательство неверно, и мы тоже считаем эту вероятность как 1 к 1000. Уравнение (1) говорит нам, что в этом случае вероятность катастрофы будет в этом случае чуть более одной миллионной – и эта оценка в тысячу раз больше, чем та, которую даёт сам этот отчёт. Это отражает тот факт, что если катастрофа действительно случится, то гораздо вероятнее, что это произойдёт из-за ошибки в отчёте, чем в результате того, что один случай на миллиард будет иметь место. Ошибочные доказательства нередки. Один возможный способ оценить число больших ошибок в научных статьях – это посмотреть на ту долю их, которые были формально отозваны после публикации. Хотя некоторые отзывы статей связаны с неэтичным поведением, большинство связано с непреднамеренными ошибками4. Используя базу данных MEDLINE5 (Cokol, Iossifov et al. 2007) обнаружили приблизительную частоту отзывов в 4

Между 1982 и 2002 62% все отзывов статей было связано с непреднамеренными ошибками, а не с нарушениями научной этики. (Nath, Marcus et al. 2006). 5

Очень обширная база данных статей по биомедицинским исследованиям по более чем 5 000 журналов.

6.3*10**-5, но если использовать статистическую модель для оценки частоты отзывов статей, то результат будет между 0.001 и 0.01, если все журналы будут проверены с той же степенью тщательности, как те, которые находятся на высшем уровне. Из этого следует, что P(-A) > 0.001, что делает наши предыдущие оценки весьма оптимистичными. Мы также должны отметить, что доказательство легко может содержать ошибки, даже если статья не была формально отозвана. Отзывы статей происходят только тогда, когда ошибки не тривиальны и незамедлительно становятся очевидны научному сообществу. Таким образом частота отзывов даёт нижнюю границу частоты серьёзных ошибок. Конечно, мы должны помнить, что в различных областях науки могут быть различные частоты отзывов статей и различные частоты ошибок. Например, фундаментальная наука может быть в меньшей степени подвержена ошибкам, чем более прикладные области. Важно отметить особую связь между данным анализом и рисками с высокими ставками и низкой вероятностью. Хотя данный анализ может быть применим к любым рискам, он наиболее полезен в данной категории. Только если P(X|A) очень мало, то серая область начинает играть относительно большую роль. Если P(X|A) умеренно велико, то тогда малый вклад вероятности ошибки имеет небольшое значение в оценке вероятности, например, определяя разницу между 10% и 10,001%, а не разницу между 0,001% and 0,002%. Ставки должны быть также очень велики, чтобы имел смысл дополнительный анализ рисков, при том, что изменение вероятности очень невелико в абсолютных терминах. Если ещё одна миллионная шанса смерти миллиарда людей определённо стоит дальнейшего рассмотрения, то дополнительная миллионная доля шанса пожара в доме этого не стоит. Возможно следующее возражение нашему подходу, на том основании, что мы только показали, что неопределённость становится больше, чем это считалось раньше, но не вероятность события становится больше, чем это оценивалось ранее: дополнительная неопределённость может как увеличить, так и уменьшить вероятность события. При применении нашего подхода к произвольным случаям, это возражение будет работать, однако в этой статье мы специально обращаемся к случаям, в которых вероятность P(X|A) крайне мала, так что любое значение P(X|-A) было бы выше и, таким образом, двигало бы суммарную оценку вероятности вверх. Эта ситуация симметрична в отношении экстремально высоких значений P(X|A), где повышение неопределённости доказательства приведёт к уменьшению оценки вероятности, и эта симметрия нарушается только нашей концентрацией на очень маловероятных событиях. Другое возможное возражение состоит в том, что поскольку всегда есть ненулевая вероятность того, что доказательство содержит ошибки, то ситуация является безнадёжной: любое новое доказательство не сможет полностью убрать серую зону. Верно, что серую область никогда не удастся убрать, однако если новое доказательство (А2) является независимым от предыдущего доказательства (А1), то тогда серая область уменьшится, то есть P(-A1,-A2)
Небольшая оставшаяся серая область может быть приемлема, если P(X|-A)P(A), согласно оценкам, является достаточно малым в сравнении с уровнем ставок. 3. Теории, модели и вычисления Наиболее обычный путь в оценке надёжности доказательства состоит в разделении между неопределённостью модели и неопределённостью параметров и в приписывании разных вероятностей этим вариантам. Хотя эта классификация определённо полезна в некоторых практических случаях, она является слишком грубой для наших нынешних целей, поскольку неспособна учесть потенциальные ошибки в вычислениях или ложность теории, на которой доказательство основывается. Для того, чтобы учесть все возможные ошибки в доказательстве, мы по отдельности рассмотрим его теорию, его модель и его вычисления. Вычисления развивают конкретную модель, представляющую исследуемый процесс, например, формирование чёрных дыр при столкновении частиц, реакцию на определённые климатические параметры (такую как среднюю температуру или скорость испарения) или изменения концентрации парникового газа, или реакцию экономики на изменение цен на нефть. Эти модели обычно выводятся из более общих теорий. В дальнейшем мы не будем ограничивать термин «теория» точно установленными и математическими проработанными теориями, вроде электродинамики, квантовой хромодинамики или теории относительности. Скорее, теории понимаются как базовое теоретическое знание, вроде исследовательских парадигм или общепринятых исследовательских практик внутри данной области знаний. Примером этого является гипотеза об эффективности рынка, которая лежит в основе многих моделей в экономике, таких как модель Блэка-Скоулза. Даже неверные теории и модели могут быть полезны, если их отклонение от реальности достаточно мало с точки зрения заданных целей. Таким образом, мы рассматриваем адекватные модели или теории, а не истинные. Например, мы склонны признавать, что Ньютонова механика является адекватной теорией во многих ситуациях, хотя при этом признаём, что в некоторых случаях она является полностью неадекватной (например, при вычислении орбиталей электронов). Мы, таким образом, называем репрезентацию некой системы адекватной, если она способна предсказывать с требуемой точностью релевантные черты данной системы. Например, рассмотрим случай, когда исследователи климата хотят определить воздействие выбросов парниковых газов на благополучие будущих поколений; в этом случае модель, описывающая локальные изменения испарения и температуры не будет адекватной. Однако им достаточно, чтобы модель описывающая глобальные изменения температуры и испарения была бы адекватной. На теоретическом уровне можно сказать гораздо больше о разнице между адекватностью и истинностью, но для целей определения надёжности оценок рисков приведённого выше объяснения должно быть достаточно.

Используя следующие обозначения: Т – используемые теории адекватны М – выведенная модель адекватна С – вычисления верны Мы можем разделить А указанным выше образом и заменить P(X|A) в уравнении (1) на P(X|T,M,C) и P(A) на P(T,M,C ). Из законов условной вероятности следует: (2)

P(T,M,C) = P(T)P(M|T)P(C|M,T)

Мы можем признать С независимым от М и Т, так как корректность вычислений не зависит от адекватности тех теоретических предположений и модели, на которых они основываются. С учётом этой независимости P(C| M,T) = P(C) и приведённое выше уравнение может быть упрощено: (3)

P(T,M,C) = P(T) P(M|T) P(C).

Подставляя этот результат назад в уравнение (1), мы получим более удобоваримую формулу для вычисления вероятности исследуемого события. Мы уже сделали грубую попытку оценить P(A) на основании частоты отзыва статей. Оценка P(T), P(M|T) and P(C) является более аккуратной и в некотором отношении более простой, хотя всё ещё представляет значительную трудность. Хотя оценка различных составляющих уравнения (3) должна делаться в каждом случае отдельно, последующее прояснение того, что мы имеем в виду под вычислениями, моделью и теорией прольёт определённый свет на то, как проводить такой анализ. Следуя нашей трёхуровневой классификации, наиболее прямым подходом было бы применение открытий в области надёжности теорий из философии науки – основанных, например, на вероятностных методах верификации (например, (Reichenbach 1938)) или методах фальсификации как в (Hempel 1950) или (Popper 1959). Часто, однако, лучшим, что мы можем сделать, является установление неких границ на основании исторических данных. Далее мы рассмотрим типичные источники ошибок в этих трёх областях. 3.1 Вычисления: аналитические и численные Независимая от адекватности модели и от теории оценка верности вычислений является важной во всех случаях, когда используемая математика является нетривиальной. Большинство случаев, когда мы можем дать нечто большее, чем чисто эвристический анализ рисков, относятся к этому классу. Вспомните климатические модели, рассматривающие неограниченно растущие изменения климата и оценки рисков коллайдера или столкновения с астероидами. Когда вычислений становится много, даже простые

арифметические процедуры становятся подвержены ошибкам. Отдельная трудность возникает в связи с разделением труда в науке: в современной научной практике является обычным, что различные шаги в вычислениях выполняются различными людьми, которые могут быть в различных рабочих группах в разных странах. Космический аппарат Mars Climate Observer был потерян в 1999 году из-за того, что часть контролирующего оборудования, разработанная Локхид Мартин использовала британскую систему мер и весов вместо метрической системы, которую ожидало программное обеспечение от НАСА (NASA 1999). Ошибки в вычислениях огорчительно распространены. Нет надёжной статистики по ошибкам в вычислениях, сделанных в оценке рисков, или, шире, в научных статьях. Однако есть исследование ошибок, сделанных в очень простых вычислениях, которые выполнялись в госпиталях. Ошибки в дозировке дают примерную оценку частоты того, насколько часто математические ошибки происходят. Ошибки в рецептах имеют место в от 1.2% до 31% случаев согласно различным исследованиям (Prot, Fontan et al. 2005; Stubbs, Haw et al. 2006; Walsh, Landrigan et al. 2008), и среднее значение составляет 5% от числа назначений. Из этих ошибок 15-40% составляют ошибки в дозах, что даёт общий уровень ошибок в дозах в 1-2%. Что это значит для частоты ошибок в оценке рисков? Поскольку ставки являются большими, когда речь идёт об ошибках в дозах, эти данные представляют собой серьёзную попытку дать правильный ответ в отношении условий, когда речь идёт о жизни и смерти. Вероятно, что люди, занимающиеся оценкой рисков, более надёжны в арифметики, чем профессионалы в области здравоохранения, и имеют больше времени для исправления ошибок, но кажется невероятным, что они являются более надёжными на несколько порядков величины. Следовательно, вероятность в 0.001 ошибки в простых вычислениях не выглядит невероятной. Рандомизированная выборка статей из Nature и BritishMedical Journal показала, что 11% статистических результатов содержали ошибки, большей частью по причине ошибок округления и перезаписи (García-Berthou and Alcaraz 2004). Ошибки в вычислениях включали в себя не только «простые» описки, которые мы знаем со школы, такие как перепутанные знаки, забытый обратный квадратный корень или неверное переписывание из строки сверху. Вместо этого, многие ошибки возникли в результате численного решения аналитических математических уравнений. Компьютерные симуляции и численный анализ редко осуществляется напрямую. История компьютеров содержит большое число впечатляющих примеров сбоев в результате маленьких ошибок в программном обеспечении и оборудовании. 4 июня 1996 года ракета Ариан 5 взорвалась в результате незаконченного фрагмента программного кода, вызвавшего цепочку отказов (ESA 1996). Аудит финансовых отчётов в реальном мире обнаружил 88% ошибок (Panko 1998). Ошибка в операциях с плавающей запятой в 1993 году в процессорах Пентиум касалась 3-5 млн. процессоров, уменьшив их вычислительную надёжность и, таким образом, нашу уверенность в чём-либо, вычисленном на

них (Nicely 2008). Программистские ошибки могут «спать» в течение очень долгого времени в с виду правильном коде, только чтобы проявиться в крайних ситуациях. Элементарный и широко распространённый алгоритм бинарного поиска, входящий в стандартные библиотеки для Java, как оказалось после 9 лет использования, содержал баг, который возникает только при очень большой длине списка (Bloch 2006). Ошибка в обработке данных привела к тому, что пять продвинутых статей по структуре белка были отозваны, поскольку хиральность молекул была инвертирована (Miller 2006). В тех случаях, когда для моделирования используются вычислительные методы, многие ошибки неизбежны. Используются дискретные аппроксимации уравнений из модели, которые обычно непрерывны, и, как нам известно, в некоторых случаях эти дискретные версии не являются хорошей аппроксимацией для непрерывной модели (Morawetz and Walke 2003). Более того, численные вычисления часто выполняются на дискретной вычислительной сетке, где значения в середине ячеек вычисляются как средние, исходя из значений в узлах решётки. Хотя мы знаем, что определённые схемы экстраполяции являются более надёжными в некоторых случаях, чем другие, мы часто не можем исключить вероятность ошибки или хотя бы количественно оценить ее. 3.2 Способы моделирования и теоретизирования. Наше разделение между моделью и теорией следует типичному использованию терминов в математических науках, таких как физика или экономика. В то время как теории ассоциируются с широкой применимостью и большой уверенностью в их истинности, модели ближе к феноменам. Например, оценивая вероятность столкновения конкретного астероида с Землёй, следует использовать либо Ньютонову механику, либо общую теорию относительности в качестве теории, описывающей роль гравитации. Затем можно использовать эту теорию совместно с наблюдениями позиций космических тел, скоростей и масс, чтобы сконструировать модель, и наконец произвести серию вычислений на основании модели, чтобы оценить вероятность столкновения. Как из этого следует, ошибки, которые возможны при создании конкретной модели включают в себя и превосходят те ошибки, которые обычно называются неопределённостью параметров. Помимо вопросов о индивидуальных параметрах (позициях, скоростях, массах), есть также важные вопросы о деталях (можем ли мы пренебречь внутренней структурой сталкивающихся тел?) и ширины (можем ли мы сфокусироваться только на Земле и астероиде, или мы должны моделировать другие планеты или Солнце?)6 Как видно из приведённого примера, один из способов отличать теории от моделей состоит в том, что теории слишком общи, чтобы 6

Вопрос о ширине модели тесно связан с тем, что (Hansson 1996) называет неопределённость демаркации. Но демаркация проблемы включает в себя не только очевидную демаркацию пространства и времени, но также вопросы о том, какую систему следует рассматривать, какой масштаб рассматривать и т. д.

их можно было прямо применить к конкретной проблеме. Для любой теории есть много способов применить ее к проблеме, и благодаря этому возникают разные модели. Философы науки отметят, что разделение теории и модели согласуется с неформальным определением, используемым (Giere 1999), (Morrison 1998) (Cartwright 1999), но отличается от даваемого (Suppes 1957). Мы также должны отметить, что доказательство вполне вероятно может использовать несколько моделей и теорий. Это усложняет анализ и создаёт дополнительные источники ошибок в доказательстве7. Например, для оценки риска возникновения чёрных дыр нам потребуется не только квантовая хромодинамика (теория, которую БАК должен протестировать), но также теория относительности и теория излучения чёрных дыр Хокинга. В дополнение к другим своим ролям, предположения, сделанные в модели, должны объяснить, как связать вместе столь разные теории (Hillerbrand and Ghil 2008). В оценке рисков участвующие системы обычно не так хорошо понятны, как столкновения с астероидами. Часто разные модели существуют одновременно – причём про каждую известно, что она не полна или некорректна в некотором отношении, однако исправить ее трудно. В этих случаях особенно проявляется свойство человека, имеющего в голове представления о том, каким должен быть желаемый исход, подстраивать под него модель, делая его уязвимым для когнитивного искажения, связанного с ожиданием: тенденции получать желаемый ответ, а не истинный. Это когнитивное искажение оказало влияние на многих великих учёных (Jeng 2006), и в случае оценки рисков желание получить «позитивный исход» (безопасность в случае сторонника и опасность в случае противника проекта) выглядит вероятной причиной искажений в моделировании.

Явно/Неявно Теория

7

Дополнительные теории и модели могут быть намеренно использованы чтобы понизить вероятность ошибки в доказательстве, и в главе 4 мы увидим, как это было сделано для оценок безопасности БАК.

Доказательство

Модель

Широта Детализированность

Вычисления

Уровень дискретности/ случайные ошибки Рисунок 2. Наша классификация способов, которыми оценки рисков могут быть искажены. 3.3 Исторические примеры ошибок в модели и в теории Драматическим примером ошибки в модели было ядерное испытание Кастель Браво 1 марта 1954 года. Устройство дало взрыв силой 15 мегатонн вместо предсказанных 4-8 мегатонн. Радиоактивные осадки выпали на части Маршаловых островов и привели к облучению японского рыболовного судна, в результате чего один рыбак погиб, что привело к международному скандалу (Nuclear Weapon Archive 2006.) Хотя конструкторы в Лос Аламосской национальной лаборатории понимали актуальную в данном случае теорию альфа-распада, их модель реакций, участвующих во взрыве, была слишком узкой, поскольку она пренебрегала одной из участвующих частиц (литием-7), который, как оказалось, отвечает за большую часть выделяющейся энергии. Кастель Браво примечателен также как пример ошибки в модели в очень серьёзном эксперименте, основанном на точных науках и с известными высокими ставками. История науки содержит множество примеров того, как общепринятые теории были опрокинуты новыми данными или новыми пониманиями, а также того, как множество малых теорий существовали удивительно долго, до того, как были опровергнуты. Классические примеры первого – это космология Птолемея, теория флогистона и калорическая теория; пример последнего – это число хромосом у человека, которое систематически ошибочно вычислялось как равное 48 (а не 46) и эта ошибка просуществовала 30 лет (Gartler 2006). В качестве последнего примера рассмотрим оценку лордом Кельвиным возраста Земли (Burchfield 1975). Они были выполнены на основании температуры Земли и ее теплопроводности, и привели к оценкам возраста Земли от 20 до 40 миллионов лет. Эти оценки не принимали в расчет нагревание за счёт радиоактивного распада, поскольку радиоактивный распад не был известен в то время. Как только было показано, что он способен давать дополнительное тепло, модель была быстро усовершенствована. Хотя пренебрежение радиоактивностью сегодня выглядит как слабость модели, во времена лорда Кельвина оно представляло

собой большую непредвиденную слабость в физическом понимании Земли и, таким образом, ошибку теории. Эти примеры показывают, что вероятности адекватности модели и теории не независимы друг от друга, и, таким образом, в самом общем случае мы не должны дальше разлагать на слагаемые уравнение (3). 4. Применение нашего анализа к рискам экспериментов на ускорителях Физика элементарных частиц – это исследование элементарных составляющих материи и радиации и взаимодействия между ними. Главный экспериментальный метод в физике элементарных частиц состоит в состоит в использовании таких ускорителей как RHIC и БАК для того, чтобы разогнать пучки частиц до околосветовых скоростей и затем столкнуть их друг с другом. Это позволяет сконцентрировать очень большое количество энергии в одном объёме и разбить частицы на их составляющие, которые затем можно обнаружить. По мере того, как ускорители частиц становились всё больше, достигаемые плотности энергии становились всё большими, что вызвало некоторую озабоченность в отношении их безопасности. Эти опасения о рисках сосредоточились на трёх возможностях: возникновение «подлинного вакуума», превращение Земли в странную материю и разрушение Земли через формирование чёрной дыры. 4.1 Подлинный вакуум и возникновение странной материи Тот тип вакуума, который существует в нашей вселенной может не быть вакуумом с наименьшим уровнем энергии. В этом случае вакуум может перейти на самый нижний уровень энергии, спонтанно, или после значительного возмущения. Это приведёт к возникновению пузыря «подлинного вакуума» расширяющегося во все стороны со скоростью света, переводя вселенную в иное состояние, явно непригодное для какой-либо жизни (Turner and Wilczek 1982). Наша обычная материя состоит из электронов и двух типов кварков: верхних кварков и нижних кварков. Странная материя содержит третий тип кварков: странные кварки. Было выдвинуто предположение, что странная материя может быть более устойчивой, чем нормальная материя, и может быть способна превращать атомные ядра в ещё большие количества странной материи (Witten 1984). Было также выдвинуто предположение, что ускорители частиц могут создавать маленькие сгустки отрицательно заряженной странной материи, известные как стрейнджлеты. Если обе эти гипотезы верны, и стрейнджлет имеют достаточно высокие шансы взаимодействовать с нормальной материей, то он может расти внутри Земли, притягивая ядра со всё большей скоростью, до тех пор, пока вся планета не превратится в странную материю и вся жизнь на ней будет уничтожена. К сожалению, странная материя сложна и малопонятна, и относительно неё имеются модели с крайне

различными предсказаниями относительно ее стабильности, заряда и других свойств (Jaffe, Busza et al. 2000).Одним из способов ограничить риск от этих источников является аргумент о космических лучах: столкновения того же типа с высокоэнергетичными частицами случаются повсеместно в атмосфере Земли, на поверхности Луны и везде во Вселенной. Тот факт, что Луна или наблюдаемые звёзды не были разрушены в результате значительного числа прошлых столкновений (многие из которых имели гораздо большую энергию, чем та, что может быть достигнута в человеческих экспериментах) предполагает, что угроза незначительна. Этот аргумент был использован впервые против возможности распада вакуума (Hut and Rees 1983), но является вполне распространённым. Влиятельный анализ рисков, связанных со странной материей, был выполнен (Dar, De Rujula et al. 1999) и был основой отчёта о безопасности RHIC. Этот отчёт учитывает тот факт, что любые опасные остатки космических лучей, столкнувшихся с веществом, будут двигаться с высокими относительными скоростями (и в силу этого взаимодействовать с гораздо меньшей вероятностью), в то время как лобовые столкновения на ускорителях могут создавать осколки, двигающиеся с гораздо меньшими скоростями. Они использовали частоту лобовых столкновений космических лучей, чтобы оценить продукцию стрейнджлетов. Такие стрейнджлеты затем будут замедляться галактическими магнитными полями и в конце концов будут поглощаться в ходе формирования звёзд. Вместе с оценками частоты взрывов сверхновых, это может быть использовано для оценки вероятности создания опасных стрейнджлетов в ускорителях частиц. В результате была получена оценка < 2 10**-9 в год для RHIC.8 В то время, как использование эмпирических границ и экспериментально проверенной физики уменьшает вероятность ошибки в теории, в данной статье используется примерно 30 шагов, чтобы придти к окончательному выводу. Например, если есть шанс в 1 к 10 000 вычислительной или модельной ошибки в каждом шаге, то это дало бы суммарную P(-A)=0.3%. Это полностью бы затенило оценку риска. Тонкое усложнение аргумента о космических лучах было отмечено в статье (Tegmark and Bostrom 2005). Выживание Земли не является достаточным основанием для доказательства безопасности, поскольку мы не знаем, живём ли мы во вселенной с «безопасными» законами природы или мы живём во вселенной, в которой взрывы планет или распад вакуума случаются, но мы просто были удивительно везучими до сих пор. Хотя последняя возможность выглядит очень маловероятной, все наблюдатели в такой вселенной будут обнаруживать себя в тех редких случаях, когда их планеты и звёзды выжили, и будут обладать той же информацией, что и мы. Тегмарк и Бостром таким образом пришли к выводу, что игнорирование антропного фактора делает предыдущие модели слишком узкими. Они учли это антропное искажение и пришли к выводу, основываясь на анализе (Jaffe, Busza et al. 2000), что риск 8

(Kent 2004) указывает на некоторые ошибки в оценке вероятностей в различных версиях этой статьи, равно как и в Брукхавенском отчёте. Даже если это просто типографские ошибки, это указывает на то, что вероятность ошибочных оценок рисков не является нулевой.

от ускорителей составляет менее 10**(-12) в год. Это пример продемонстрированной ошибки в важном физическом доказательстве безопасности (которое было ключевым в оценке безопасности RHIC). Более того, важно отметить, что RHIC проработал пять лет на основании ошибочного отчёта о безопасности, до того, как Бостром и Тегмарк обнаружили и исправили неточность доказательства. Хотя эта неточность была немедленно исправлена, мы должны отметить, что исправление зависит от двух вещей: рассуждений на основании антропного принципа и от сложной модели формирования планет (Lineweaver, Fenner et al. 2004). Если хотя бы одна из них содержит ошибки, или сам базовый брукхавенский анализ ложен, то и вся оценка риска искажена. 4.2 Формирование чёрной дыры Эксперименты на БАК в ЦЕРН были предназначены для исследований верности и границ Стандартной модели физики частиц путём столкновения пучков высокоэнергетичных протонов. Это будет наиболее высокоэнергетичный эксперимент из когда-либо сделанных, что сделало его предметов озабоченности в последнее время. В силу высокой убедительности предыдущих доказательств безопасности в отношении формирования стрейнжлетов и распада вакуума, основным предметом беспокойства в отношении БАК стало возникновение чёрных дыр. Ни одна из теоретических статей, которые мы обнаружили, судя по всему не рассматривает чёрные дыры как угрозу безопасности, в основном потому что все они предполагают, что чёрные дыры испарятся благодаря Хокинговскому излучению. Однако в статье (Dimopoulos and Landsberg 2001) было предположено, что если чёрные дыры будут возникать, что ускорители частиц могут быть использованы для проверки теории о Хокинговском излучении. После этого критики также начали спрашивать, можем ли мы не задумываясь принять то, что чёрные дыры будут безвредно испаряться. Новый анализ продукции чёрных дыр на БАК (Giddings and Mangano 2008) является хорошим примером того, как риски могут быть более эффективно ограничены посредством множества субаргументов. Не пытаясь дать вероятность катастрофы (а вместо этого заключая, что «нет рисков значительных событий от таких чёрных дыр») эта статья использует доказательство, основанное на проведении множества верхних границ. В начале она показывает, что быстрый распад чёрных дыр является непременным следствием нескольких различных физических теорий (А1). Во-вторых, в статье обсуждается несовместимость между неиспаряющимися чёрными дырами и механизмами электрической нейтрализации чёрных дыр: для того, чтобы создаваемые космическими лучами чёрные дыры были бы безопасными, но чёрные дыры из ускорителей были бы опасными, они должны быть способны быстро сбрасывать избыточный электрический заряд (A2). Наше нынешнее понимание физики говорит нам о том, что чёрные дыры должны распадаться, и даже если они не распадаются, они будут неспособны разряжаться сами по себе. Только если

это понимание содержит ошибки, то тогда в игру вступает следующий раздел. Третья часть, которая занимает большую часть статьи, моделирует то, как обычные и многомерные чёрные дыры могли бы взаимодействовать с обычной материей. Там делается вывод о том, что если масштаб многомерной гравитации меньше, чем 20 нм, то время, за которое чёрная дыра поглотит Землю, будет больше, чем время естественного существования планеты. Для тех сценариев, в которых быстрое поглощение Земли возможно, время поглощения белых карликов и нейтронных звёзд так же будет очень коротким, а захват чёрных дыр от сталкивающихся космических лучей будет таким высоким, что время жизни звёзд было бы гораздо короче наблюдаемого (а также это противоречило бы скорости охлаждения белых карликов) (А3). Хотя каждый из этих аргументов имеет свои слабости, сила полного доказательства (A1,A2,A3) значительно больше за счёт их комбинации. По существу статья представляет собой три последовательных доказательства, каждое из которых частично заполняет серую область (см рис. 1), оставшуюся от предыдущих. Если теории о распаде чёрных дыр терпит провал, то в действие вступает аргумент об электрическом разряде, и если, вопреки всем ожиданиям, чёрные дыры оказываются стабильными и нейтральными, то третий аргумент показывает, что данные астрофизики ограничивают скорость аккреции вещества ими очень малой величиной. 4.3. Применение безопасности БАК

вышеприведённого

анализа

в

отношении

Каковы следствия нашего анализа в для оценки безопасности БАК? Во-первых, рассмотрим уровень ставок в данном вопросе. Если одна из предполагающихся катастроф должна случится, это будет означать разрушение Земли. Это будет означать полное разрушение окружающей среды, 6.5 млрд. человеческих смертей и гибель всех будущих поколений. Стоит отметить, что потеря всех будущих поколений (а вмести с ними и всего потенциала человечества) может быть величайшей потерей из этих трёх, но подробный анализ этих ставок находится за рамками этой статьи. Для наших целей важно отметить, что разрушение Земли по крайней мере так же плохо как 6.5 млрд человеческих смертей. Есть некоторая неопределённость в том, как надо комбинировать вероятности и ставки в суммарной оценке рисков. Некоторые утверждают, что простой подход, состоящий в вычислении ожидаемой полезности, является наилучшим, тогда как другие утверждают подход, основанные на некоторой форме полного неприятия риска. Однако мы можем обойти этот диспут, отметив, что в любом случае риск ущерба по крайней мере столь же плох, как математическое ожидание ущерба. Таким образом, риск с вероятностью p гибели 6.5 млрд людей по крайней мере настолько же плох, как неизбежная гибель 6.5*10**9*р людей. Теперь мы постараемся дать наиболее точную оценку вероятности одного из перечисленных выше сценариев катастрофы, которые могут произойти во время работы БАК. Хотя доказательства безопасности БАК

заслуживают похвалы за свою продуманность, они не являются непогрешимыми. Хотя отчёт рассматривает несколько физических теорий, вполне возможно, что все они являются неадекватными репрезентациями физической реальности. Также возможно, что модели процессов в БАК или астрономических процессов, используемые в аргументе о космических лучах, содержат некие важные ошибки. Наконец, возможно, что в отчёте есть ошибки в вычислениях. Вспоминая уравнение (1): (1)

P(X)=P(X|A)P(A)+P(X|-A)P(-A)

P(X) определяется двумя слагаемыми. Второе из них определяется дополнительной вероятность катастрофы, связанной с тем, что доказательство неверно. Оно является произведением вероятности ошибки в доказательстве на вероятность катастрофы при условии такой ошибки. Оба сомножителя очень трудно оценить, но мы можем достичь определённого понимания, если укажем границы, в которых они должны лежать, для того, чтобы риск БАК был приемлемым. Из (1) следует: (4)

P(X) ≥ P(X|-A) P(-A) .

Если мы под I обозначим приемлемый уровень ожидаемого числа смертей в результате операций БАК, мы получим 6.5*10**9 *P(X) ≤ I Объёдинив это с уравнением (4), мы получим: (5) P(X|-A)P(-A) ≤1.5*1 0**(-10 ) *I. Это неравенство накладывает жёсткие ограничения на приемлемые величины вероятностей. Это гораздо легче понять на примере, и поэтому мы дадим некоторые числа для иллюстрации. Предположим, что предел был установлен в 1000 ожидаемых смертей, и тогда P(X|-A)*P(-A) должно быть меньше, чем 1.5*10**(-7) для того, чтобы уровень риска был приемлемым. Это требует очень низких значений этих вероятностей. Мы видели, что для многих доказательств P(-A) больше, чем 0.001. Мы также указали, что доказательство безопасности RHIC имело серьёзную ошибку, которая не была обнаружена экспертами в то время. Таким образом, было бы очень смелым утверждать, что доказательство безопасности БАК имеет вероятность ошибки, значительно меньшую, чем 0.001, однако для чистоты аргумента мы примем, что она равна всего лишь 0.0001, что означает, что из выборки в 10 000 независимых доказательств подобного уровня, только одно имело бы серьёзную ошибку. Даже если величина P(-A) составляет всего лишь 10**(-4), P(X|-A) должно быть 0.15%, чтобы риск был приемлемым. P(X|-A) – это вероятность катастрофы при условии, что доказательство безопасности ошибочно, и оно является наиболее сложным для оценки компонентом

уравнения (1). Мало кто будет возражать, что у нас есть очень мало данных для того, чтобы приписать какое-либо значение P(X|-A). Таким образом, было бы слишком смелым оценить его в менее чем 0.15% без каких-либо существенных доказательств. Возможно, что такой аргумент может быть найден, но пока его нет, такое малое значение P(X|-A) ничем не обосновано. Мы подчёркиваем, что приведённая выше комбинация чисел была дана чисто для иллюстрации, однако мы не смогли найти какую-либо убедительную комбинацию из этих трёх чисел, которые соответствуют ограничению и которые не требуют значительных доказательств либо для уровней уверенности, либо уровней пренебрежения числом ожидаемых смертей. Мы хотим также подчеркнуть, что мы открыты к возможности, что дополнительные поддерживающие аргументы и независимые проверки моделей и вычислений могут значительно уменьшить шансы обнаружить ошибку в доказательстве. Однако из нашего анализа следует, что нынешний отчёт по безопасности не должен быть последним словом в оценках безопасности БАК. Чтобы пользоваться доказательствами из последнего отчёта по безопасности БАК, мы должны провести дополнительную работу по оценке P(-A), P(X|-A), приемлемого уровня смертей, и ценности будущих поколений и другой жизни на Земле. Такая работа потребует знаний за пределами теоретической физики и потребуется создание междисциплинарной группы. Если бы ставки были бы малы, то тогда имело бы смысл отмести этот дополнительный уровень анализа рисков, но ставки астрономически высоки, и в силу этого дополнительный анализ является критически важным. Даже если БАК продолжит свою работу без дополнительного анализа, что весьма вероятно, эти уроки должны быть применены к оценке рисков с высокими ставками и низкой вероятностью. 5. Заключение При оценке вероятностей катастрофы недостаточно сделать консервативные оценки (используя наиболее экстремальные значения или предположения в моделях, совместимые с известными данными). Скорее, мы нуждаемся в мощных оценках, которые могут учитывать ошибки в теории, модели и вычислениях. Потребность в этом становится особенно большой при оценке событий с высокими ставками и низкой вероятностью, хотя мы не утверждаем, что низкие вероятности не могут учитываться систематически. В действительности, как указал (Yudkowsky 2008), если бы люди не могли точно предсказывать вероятности менее, чем 10**-6, то организаторы лотереи не могли бы получать доходы от неё. Некоторые люди высказали озабоченность о том, что наше доказательство может быть слишком сильным: согласно ему невозможно опровергнуть риск чего-либо даже самого простого, как падение карандаша, и поэтому из наших аргументов должна следовать необходимость запретить всё. Это верно, что мы не можем полностью исключить какую-либо вероятность того, что с виду безобидные действия могут иметь ужасающий

эффект, но есть ряд причин, по которым мы не должны заботится о всемирном запрете. Основная причина того, что мы не должны заботится о всемирном запрете событий в духе падения карандаша, у которых нет убедительного механизма уничтожения мира, состоит в том, что выглядит в той же мере вероятным, что мир будет уничтожен из-за не бросания карандаша. Ожидаемые потери уравновешивают друг друга. Также следует отметить, что наше доказательство – это просто обращение к мягкой форме теории принятия решений для анализа необычной концепции: для того, чтобы наш метод оказался неверен, должна быть ошибка в самой теории принятия решений, что само по себе было бы большим откровением. Некоторым читателям может показаться, что наше доказательство полностью применимо к самой этой статье: есть шанс, что мы сделали ошибку в самом нашем доказательстве. Мы полностью согласны, но должны отметить, что эта возможность не сильно изменяет нашего вывода. Предположим, очень пессимистично, что есть 90% шансы, что наше доказательство содержит существенную ошибку и что правильным подходом является принимать выводы отчётов о безопасности без коррекции. Даже если так, наше рассуждение значительно изменит то, как мы рассматриваем эти выводы. Вспомните, например, раздел 2, где отчёт давал вероятность в 10**-9, и мы изменили ее на 10**-6. Если есть хотя бы 10% шанс, что мы были правы в этом, то тогда полная оценка вероятности должна быть изменена на 0.9*10**-9 + 0.1*10**-6 =10**-7, что всё равно представляет весьма значительный сдвиг от исходной оценки, данной в отчёте. Говоря вкратце, даже серьёзные сомнения в достоверности нашего метода не должны сдвинуть оценки больше чем на порядок от тех, кто наш метод предлагает. Более умеренные сомнения будут иметь ещё меньший эффект. (Некоторые ошибки возможны и при переводе это статьи, но они не должны изменить основной вывод – прим.пер.) Основная идея нашей статьи состоит в том, что любая научная оценка риска может дать нам только вероятность опасного события при условии верности основного аргумента. Необходимость оценить надёжность данного доказательства для того, чтобы адекватно взаимодействовать с риском, является особенно необходимой, как было нами показано, в отношении событий с высокими ставками и низкой вероятностью. Мы вывели трёхуровневое разделение между теорией, моделью и вычислениями, и показали, как она может быть более удобна, чем классическое разделение между неопределённостью модели и параметров. Дав исторические примеры ошибок на всех трёх уровнях, мы прояснили это трёхуровневое различие и показали, где могут случаться ошибки в оценке рисков. Наш анализ рисков был применён к недавним оценкам рисков, которые могут возникнуть в области физики элементарных частиц. В заключении этой статьи мы хотели бы дать несколько самых общих советов о том, как избегать ошибок в доказательствах при оценках рисков с высокими ставками. Во-первых, проверяемость предсказаний может помочь

обнаружить ошибочные аргументы. Если оценка риска даёт распределение вероятности для меньших и более обычных катастроф, то это может быть использовано для того, чтобы судить о том, согласуются ли наблюдаемые катастрофы с теорией. Во-вторых, повторяемость результатов выглядит наиболее эффективным способом удалить многие ошибки. Мы можем значительно увеличить достоверность вычислений, если другие люди независимо их повторят. Если другие теории и модели независимо предсказывают тот уже уровень риска, то наша уверенность в этих результатах должна возрасти, даже если один из результатов ложен, другие сохраняют свою силу. Наконец, мы можем уменьшить вероятность бессознательной предубёждённости, разделив работу по оценке риска на две группы экспертов: на «синюю» группу, которые будут пытаться дать объективный анализ, и «красную группу» «адвокатов дьявола», которые будут стремиться продемонстрировать риск, и эти группы будут подвергать друг друга взаимному критицизму, что приведёт к усовершенствованию моделей и оценок (Calogero 2000). Применение таких методов может уменьшить вероятность ошибки на несколько порядков. References Bloch, J. (2006). "Extra, Extra - Read All About It: Nearly All Binary Searches and M e r g e s o r t s a r e B r o k e n . " f r o m http://googleresearch.blogspot.com/2006/06/extra-extra-read-all-aboutitnearly.html. Burchfield, J. D. (1975). Lord Kelvin and the Age of the Earth. New York, Science History Publications. Calogero, F. (2000). "Might a laboratory experiment destroy planet earth?" Interdisciplinary Science Reviews 25(3): 191-202. Cartwright, N. (1999). Dappled World: A Study of the Boundaries of Science. Cambridge, Cambridge University Press. Cokol, M., I. Iossifov, et al. (2007). "How many scientific papers should be retracted?" Embo Reports 8(5): 422-423. Dar, A., A. De Rujula, et al. (1999). "Will relativistic heavy-ion colliders destroy our planet?" Physics Letters B 470(1-4): 142-148. Dimopoulos, S. and G. Landsberg (2001). "Black holes at the large hadron collider." Physical Review Letters 8716(16): art. no.-161602. ESA (1996). ARIANE 5 Flight 501 Failure: Report by the Inquiry Board. García-Berthou, E. and C. Alcaraz (2004). "Incongruence between test statistics and P values in medical papers." BMC Medical Research Methodology 4(13). Gartler, S. M. (2006). "The chromosome number in humans: a brief history." Nature Reviews Genetics 7(8): 655-U1. Giddings, S. B. and M. M. Mangano. (2008). "Astrophysical implications of hypothetical stable TeV-scale black holes." arXiv:0806.3381 Giere, R. N. (1999). Science without Laws. Chicago, University of Chicago Press.

Hansson, S. O. (1996). "Decision making under great uncertainty." Philosophy of the Social Sciences 26: 369-386. Hempel, C. G. (1950). "Problems and Changes in the Empiricist Criterion of Meaning." /Rev. Intern. de Philos 11(41): 41-63. Hillerbrand, R. C. and M. Ghil (2008). "Anthropogenic climate change: Scientific uncertainties and moral dilemmas." Physica D 237: 2132-2138. Hut, P. and M. J. Rees (1983). "How Stable Is Our Vacuum." Nature 302(5908): 508-509. Jaffe, R. L., W. Busza, et al. (2000). "Review of speculative "disaster scenarios" at RHIC." Reviews of Modern Physics 72(4): 1125-1140. Jeng, M. (2006). "A selected history of expectation bias in physics." Am. J. Phys. 74(7): 578-583. Kent, A. (2004). "A critical look at risk assessments for global catastrophes." Risk Analysis 24(1): 157-168. Lineweaver, C. H., Y. Fenner, et al. (2004). "The Galactic habitable zone and the age distribution of complex life in the Milky Way." Science 303(5654): 5962. Miller, G. (2006). "A Scientist’s Nightmare: Software Problem Leads to Five Retractions." Science 314: 1856-1857. Morawetz, K. and R. Walke (2003). "Consequences of coarse-grained Vlasov equations." Physica a-Statistical Mechanics and Its Applications 330(3-4): 469-495. Morrison, M. C. (1998). "Modelling nature: Between physics and the physical world."Philosophia Naturalis 35: 65-85. NASA (1999). Mars Climate Orbiter Mishap Investigation Board Phase I Report. Nath, S. B., S. C. Marcus, et al. (2006). "Retractions in the research literature:misconduct or mistakes?" Medical Journal of Australia 185(3): 152-154. Nicely, T. R. (2008). "Pentium FDIV Flaw FAQ." From http://www.trnicely.net/pentbug/pentbug.html. Nuclear Weapon Archive. (2006). "Operat ion Cas t le. " from http://nuclearweaponarchive.org/Usa/Tests/Castle.html. Panko, R. R. (1998). "What We Know About Spreadsheet Errors." Journal of End UserComputing 10(2): 15-21. Popper, K. (1959). The logic of Scientific Discovery, Harper & Row. Posner, R. A. (2004). Catastrophe: Risk and Response. Oxford, Oxford UniversityPress. Prot, S., J. E. Fontan, et al. (2005). "Drug administration errors and their determinants in pediatric in-patients." International Journal for Quality in Health Care. 17(5): 381-389. Reichenbach, H. (1938). Experience and prediction. Chicago, University of Chicago Press. Stubbs, J., C. Haw, et al. (2006). "Prescription errors in psychiatry - a multi-centre study." Journal of Psychopharmacology 20(4): 553-561. Suppes, P. (1957). Introduction to Logic.

Tegmark, M. and N. Bostrom (2005). "Is a doomsday catastrophe likely?" Nature 438(7069): 754-754. Turner, M. S. and F. Wilczek (1982). "Is Our Vacuum Metastable." Nature 298(5875): 635-636. Walsh, K. E., C. P. Landrigan, et al. (2008). "Effect of computer order entry on prevention of serious medication errors in hospitalized children." Pediatrics 121(3): E421-E427. Witten, E. (1984). "Cosmic Separation of Phases." Physical Review D 30(2): 272-285. Yudkowsky, E. (2008). Cognitive biases potentially affecting judgement of global risks. Global Catastrophic Risks. N. Bostrom and M. M. Cirkovic. Oxford, Oxford University Press.