Risks with Low Probabilities and High Stakes

[ralfkannenberg]

Hallo zusammen,

ich möchte nun auf die Arbeit "Probing the Improbable: Methodological Challenges for Risks with Low Probabilities and High Stakes" von
Toby Ord, Rafaela Hillerbrand und Anders Sandberg zu sprechen kommen, welche auf achtphasen thematisiert wurde. Wie schon erwähnt handelt es sich bei den drei Autoren nicht um Mathematiker, sondern um akademisch durchaus hochqualifizierte Philisophen.

Aus Zeitgründen möchte ich meine Besprechung in mehrere Teile aufspalten; die Arbeit umfasst 18 Seiten und 4 Kapitel sowie eine Conclusion; ich werde in diesem Beitrag die ersten 10 Seiten und die ersten drei Kapitel besprechen, da es sich gewissermassen um eine Einleitung und Herleitung theoretischer Grundlagen handelt.


Ich erlaube mir, gewisse mathematische Zusammenhänge sehr stark vereinfacht wiederzugeben, für Details schaue man bitte in der Arbeit selber nach.


1.) Mathematischer Background:
Die Grundidee ist sehr einfach: Statt sich auf reine Wahrscheinlichkeiten zu beschränken wird der Begriff der bedingten Wahrscheinlichkeit genutzt.

Eine bedingte Wahrscheinlichkeit wird also wie folgt definiert: sie ist die Wahrscheinlichkeit des Eintretens eines Ereignisses A unter der Bedingung, dass ein Ereignis B bereits vorher eingetreten ist.

Notation: P(A|B)
Notation: notA soll das Komplement von A sein, also die Wahrscheinlichekit, dass A nicht eintritt.


Im weiteren wird vorausgesetzt, dass die Ereignisse A und B stochastisch unabhängig sein sollen.


Man kann nun also die bedingte Wahrscheinlichkeit des Eintretens eines Ereignisses A unter der Bedingung, dass ein Ereignis B bereits vorher eingetreten ist, berechnen und daraus zurückrechnen, wie sich die Wahrscheinlichkeit des Ereignisse A berechnet. Dies ist die Formel (1) der Publikation und sie findet sich auch am Ende des ersten Paragraphen "Zwei Ereignisse" des soeben verlinkten Wikipedia-Artikels über bedingte Wahrscheinlichkeiten:

P(A) = P(A|B)*P(B) + P(A|notB)*P(notB)

Letztlich besagt diese Formel, dass die Wahrscheinlichkeit des Eintretens des Ereignisse A nun eine Summe wird, bei der der zweite Summand letztlich die vom Ereignis B herstammenden Fehler beinhaltet; diese sind natürlich echt grösser als 0. Da der zweite Summand üblicherweise schlecht abschätzbar ist, nimmt man bei guten Messreihen einen Fehler von 1 Promille an, so dass der zweite Summand also einen Fehler von 1:1 Million aufweist; so als ganz grobe Abschätzung.


Wollen wir nun kurz innehalten: Was bedeutet diese Berücksichtigung des zweiten Summanden konkret ?

Nun, bei Restwahrscheinlichkeiten im Prozentbereich wird ein Zusatzrisiko eines tausendstel Promille kaum eine Rolle spielen; es sei aber nebenbei bemerkt, dass beispielsweise bei medizinischen Befunden oder Dopingkontrollen dieser Restfehler deutlich höher ist, so dass zur Verbesserung der Aussagenqualität dann stets noch eine Gegenprobe entnommen wird.

Kommen wir nun zurück zu unserem Beispiel: Wenn sich das Hauptrisiko im Bereich 1:1 Million aufhält, so wird das Restrisiko von gleicher Grössenordnung, d.h. das Gesamtrisiko wird sich ungefähr verdoppeln.

Und wenn das Hauptrisiko sehr viel kleiner wird, so besteht das Gesamtrisiko im Wesentlichen nur noch aus dem Restrisiko.

Somit finden wir die Situation vor, dass die "angeblich" gute Abschätzung, die beiden Restfehler (also P(A|notB) sowie P(notB) ) liegen "nur" bei je 1 Promille, dazu führen, dass das Gesamtrisiko nicht kleiner als 1:1 Million werden kann. Selbst exzellente Risikoabschätzungen belassen also grundsätzlich einen Risikowert von 1:1 Million, was natürlich für den Betrieb eines Teilchenbeschleunigers inakzeptabel hoch ist.

Und dieses Riskowert kommt also nur daher, dass die beiden Restrisiken mit je 1 Promille abgeschätzt wurden, völlig unabhängig von der Güte der Abschätzung des Hauptrisikos !

Die Autoren geben das übrigens am Ende von Kapitel 2 auch unumwunden zu.


2.) Kapitel 1 und 2:
Oben genanntes ist im wesentlichen Inhalt der beiden ersten Kapitel, die auch noch durch zahlreiche Beispiele angereichert sind.


3.) Kapitel 3:
Im Kapitel 3 wird sollen nun diese Restfehler besser abgeschätzt werden. Dazu wird das bedingende Ereignis B in 3 Teile aufgespalten:

T = "Güte" der zugrundeliegenden Theorie
M = "Güte" des zugrundeliegenden Modells
C = "Güte" der zugrundeliegenden Berechnung, also konkret: Rechenfehler und/oder falsche Anwendung von Formeln

Dabei wird noch vorausgesetzt, dass C von T und M stochastisch unabhängig sei, dass also Rechenfehler unabhängig davon passieren; eine Vereinfachung, die m.E. zulässig ist. Durch konsequentes Einsetzen gelangt man dann also zur Gleichung (3), welche der geneigte Leser bei Interesse in der Arbeit auf Seite 6 unten selber nachschauen kann, die wir jetzt aber nicht benötigen - es ist nur ein konsequentes Anwenden der Gleichung dieser bedingten Wahrscheinlichkeit auf die Situation, dass das bedingende Ereignis in 3 Teilereignisse aufgespalten wird, von denen das dritte zu den beiden ersten stochastisch unabhhängig sein soll.

Bei der Erörterung der Rechenfehler ist mir aufgefallen, dass sich oftmals nicht auf normale Rechenfehler bezogen wird, sondern auf die unzutreffende Anwendung von Formeln - was ja in der Statistik sehr oft vorkommt und einmal mehr betone ich, dass grösser-/kleiner-Abschätzungen zur sicheren Seite hin nicht in diese Kategorie fallen !

Es wird dann im Folgenden wortreich erklärt, was in der Geschichte schon alles schief gelaufen ist; es werden Beispiele aus der Medizin, aus der Raumfahrt und auch von Atomtests genannt; ich denke, das sind alles wichtige und auch gerechtfertigte Beispiele, d.h. es ist gerechtfertigt, solche Überlegungen anzustellen, man muss aber darauf achten, diese Beispiele richtig einzuordnen.


Die Unterscheidung zwischen Theorie und Modell wird damit begründet, dass man oftmals nicht aus der Theorie Aussagen gewinnen kann - z.B. bei der Einschlagwahrscheinlichkeit eines Planetoiden und dass man dann unser Sonnensystem unter gewissen Annahmen modelliert und mit diesem Modell dann Untersuchungen anstellt. Das scheint mir plausibel zu sein, d.h. an der Idee der Ereignisse T und M habe ich bis Ende Kapitel 3 nichts auszusetzen.

Im Kapitel 4, welches ich noch nicht gelesen habe, wird dann ein praktischer Bezug der Anwendung solcher bedingter Wahrscheinlichkeiten - ich vermute unter Anwendung dieser Idee, dieses bedingende Ereignis in drei teilbedingende Ereignisse aufzuteilen, hergestellt.

Dazu also später; ich denke, diese "Einleitung" dürfte für den stillen Mitleser für den Moment auch genügend sein und möchte wohl nun erst einmal ein wenig verdaut werden.


Freundliche Grüsse, Ralf

[Kondensat]

hallo ralf,

danke, dass du diese arbeit allgemeinverständlich aufarbeitest und vor allem die "kinken" und vermutlich "nichtübertragbar- bzw. anwendbarkeit" auf die geforderten risikobetrachtungen des LHC herausstellst.

bereits nach der einleitung sollte dem geneigten leser klar werden, wo der hase langläuft
_________________
resistance is futile....

[ralfkannenberg]

[Kondensat]

mag sein ralf. fakt ist aber schon jetzt, dass diese art der risikobetrachtung IMMER zu einem rel. hohen restrisiko führen MUSS! allein durch die methodik!

meines erachtens kann und DARF man mit dieser methode (so wie ich sie bis aus dem paper entnehmen konnte und verstanden habe) NICHT an dinge der physik der erweiterten voraussetzungen herangehen. die von dir stets genannten größer/kleiner-abschätzungen sind der einzig gangbare weg. denn wenn man diese methode IMMER als grundlage für die entscheidung ja/nein in bezug auf experimente anwenden würde, wären wir heute noch in der steinzeit. dann hätte man NIE ein experiment "gewagt"

aber wir können ja nach deiner ausarbeitung gerne mal das sonnenbeispiel "risikofizieren"

hauptproblematik wird auf jeden fall die bewertung der "güte" sein, die unweigerlich NICHT gänzlich objektiv erfolgen kann! auch werden messtoleranzen der sonnenobservatorien, und modellunsicherheiten zu einem risiko führen, dass achtphasen umgehend dazu veranlassen wird, gegen die sonne zu protestieren.....

_________________
resistance is futile....

[Aragorn]

Hallo Ralf,

danke für deine Darlegung.

Die 1 Promille für P(A|notB) und P(notB) wurden demnach recht willkürlich gesetzt, weil es darüber keine Informationsbasis gibt. Die 1 Promille ergeben für geringe Hauptrisiken P(A|B)*P(B) sicher keinen Sinn mehr.

Sonst käme bsw. folgender Unsinn dabei heraus.

Ich hebe einen kleinen Stein auf und lasse ihn wieder fallen. Das der Aufprall die Erde zerstört ist extrem unwahrscheinlich. Da dieser Fall seit Milliarden Jahren ständig vorkommt ist das Risiko sicher kleiner 10^-20.

Wenn ich nun den zweiten Term anfügen und argumentieren würde:

Es könnte vorkommen das der Stein an meiner Hand kleben bleibt. Und dadurch das ich den Stein nicht fallen lasse, könnte die Erde zerstört werden. Da ich dieses Risiko nicht abschätzen kann, setze ich einfach beide gleich mit 1 Promille an:

a) der Stein bleibt an meiner Hand kleben -> P(notB) = 1 Promille, und
b) dadurch das der Stein an meiner Hand kleben bleibt und nicht herunterfällt, wird die Erde zerstört -> P(A|notB) = 1 Promille

Woraus sich ein Gesamtrisiko von

P(A) = P(A|B)*P(B) + P(A|notB)*P(notB)

P(A) = 10^-20 + 10^-6

P(A) = 10^-6

ergibt. Jeder erkennt dann ja wohl sofort, wie lächerlich eine solche Argumentation wäre.
Im Endeffekt würde es bedeuten: Wenn ich einen klebenden Stein aufhebe, dann ist das Weltuntergangsrisiko 100000000000000 mal höher, wie wenn ich einen nicht klebenden Stein aufhebe. Wenn ich 1 Million Steine mit Kleber beschmieren würde, an jeden einen 5 Euro-Schein hänge und die dann in einer belebten Großstadtcity auslegen würde, dann wäre das der Weltuntergang.

Wen einer den zweiten Term bei Niedrigstrisikoanalysen wirklich so ansetzen würde, dann wäre jener der Brüller des Tages. Nur der Vortragende "achtphasen" würde mal wieder verstört in die Runde gucken, wenn der ganze Saal vor Lachen tobt

Gruß Helmut

[achtphasen]

Hallo Ralf Kannenberg,

Ihre Einführung in bedingte Wahrscheinlichkeiten ist interessant und verständlich und wird genau bedacht werden.

Auch an Ihren noch kommenden Schlussfolgerung werden ich, sicherlich auch R.U., und manche 'stille' Leser sehr interessiert sein.
vielen Dank und beste Grüsse!
Marc Fasnacht

[ralfkannenberg]

Liebe Forenuser,

bitte gebt den Autoren eine faire Chance - ich habe erst die einleitenden Teile gelesen und auch mir die Zeit gegönnt, diese vorgängig wenigstens grundsätzlich zu verstehen, ehe ich weiterlese.


Das Kapitel 4 mit den Aussagen und den Ideen zur Risikoberechnung am LHC ist noch ausstehend.


Ich bitte deswegen um Zurückhaltung und insbesondere darum, keine voreiligen Schlüsse zu ziehen: Die bislang gelesenen Teile mögen zwar für den Naturwissenschaftler etwas langatmig sein, aber in der Philosophie hat man typischerweise ein Publikum, welches nicht über das naturwissenschaftliche Know-How dieses Forums verfügt und das ist bei der Bewertung dieser Publikation bitte auch zu berücksichtigen.


Freundliche Grüsse, Ralf

[ralfkannenberg]

Hallo zusammen,

ich habe nun mal die Abschnitte 4 bis und mit 4.2 gelesen. Diese Abschnitte sind schwer zu lesen, weil sie oftmals missverständlich formuliert sind und man sie also mehrfach lesen muss, ob sie vielleicht auch anders gemeint sein könnten.

Es steht den Autoren natürlich frei, dies zu tun, erschwert aber eine Begutachtung erheblich. Insbesondere ist es bei der Anwendung von Wahrscheinlichkeiten wichtig, mit grosser Pedanterie vorzugehen, da andernfalls völliger Unsinn herauskommen kann.

Mir ist in den o.g. Abschnitten folgendes aufgefallen:

1. Unzutreffende Anwendung des Beobachter-Auswahl-Effekts (Tegmark/Bostrom)
Im Abschnitt 4.1 auf Seite 11 wird im letzten Abschnitt dieser Effekt genannt und irrtümlich auf die lange Lebensdauer von Erde, Mond und beobachtbaren Sternen angewandt. Dieser Effekt ist anzuwenden, wenn man Wahrscheinlichkeitsverteilungen betrachtet, nicht aber, wenn ein Widerspruch zu konkret genannten Objekten besteht; dann selbstverständlich ist der konkrete Widerspruch zu analysieren.

2. Unzutreffende Anwendung der Publikation von Tegmark/Bostrom
Im Abschnitt 4.1 auf Seite 12 wird im ersten Abschnitt ein Resultat genannt, welches aber in dieser Form nicht von der Referenz hergeleitet wurde. Tegmark/Bostrom analysieren Wahrscheinlichkeiten natürlicher Phänomene und nicht Wahrscheinlichkeiten menschlichen Eingreifens; das genannte Resultat war nur eine sehr grobe, nicht näher begründete 1:1000 Abschätzung, um eine Vorstellung der Grössenordnung zu erhalten, mit der sich die Autoren völlig zufrieden gaben.

3. Unzutreffende Abhängigkeit von A1, A2 und A3
Im letzten Abschnitt von Kapitel 4.2 wird eine Abhängigkeit dreier Sicherheitsargumente aus der Arbeit von Giddings/Mangano genannt, die meiner Einschätzung nach nicht gegeben ist:

[Kondensat]

hallo ralf,

4.3 ist auch nicht besser. es scheint eine philosophen-krankheit zu sein, voraussetzungen zu vermischen, so wie wir das bei achtphasen immer wieder feststellen dürfen.

[achtphasen]

Hallo Ralf Kannenberg

Ihre Sätze:

[Aragorn]

[Orbit]

Zitat von 'achtphasen:

[Kondensat]

[ralfkannenberg]

[ralfkannenberg]