1-5-zukunft-entscheiden

1. 1996. június 4-én az Ariane 5 elindult Kourou-ból első repülésére.

2. Emelkedése kezdetben normálisnak tűnt.

3. Ezután a rakéta olyan irányítási adatokat kapott, amelyek nem írták le mozgását, hirtelen kanyarodott, szétesett, és bekapcsolta önmegsemmisítő rendszerét.

4. A repülés kevesebb mint egy percig tartott.

5. A nyomozók megtalálták mindkét tehetetlenségi referenciamérőt – azokat az eszközöket, amelyeknek jelezniük kellett volna a repülési számítógépnek, hogy a jármű hogyan mozog –, és a tárolt adatok, valamint a telemetriai adatok alapján rekonstruálták működésüket.

6. Mindkettő ugyanazon okból állt le.

7. A meghibásodás nem meteorbecsapódás, nem meghibásodott érzékelő, és nem is valami új természeti erő volt.

8. A hiba a korábbi Ariane 4-ből átvett szoftverben gyökerezett.

9. Ez a szoftver tartalmazott egy igazítási funkciót, amely a felszállás előtt volt hasznos, amikor az inerciális rendszer a helyhez kötött indítóhelyhez viszonyítva határozta meg tájolását.

10. Az Ariane 5-ön ez a funkció a felszállás után is tovább működött.

11. A régebbi rakétának szüksége volt erre a megoldásra, hogy kezelni tudjon egy bizonyos, a visszaszámlálás késői szakaszában bekövetkező megszakítást; az Ariane 5-nek más volt az előkészítési sorrendje, mégis ugyanazt az időzítést örökölte.

12. A megszokott funkció megtartása kevésbé tűnt kockázatosnak, mint a tesztelt kód megváltoztatása.

13. Amint azonban az új rakéta felgyorsult, a fel nem használt funkció továbbra is kiszámította a vízszintes mozgással kapcsolatos értéket, olyan körülmények között, amelyek eltértek az Ariane 4-étől.

14. Az egyik érték túllépte a 16 bites előjeles egész szám tartományát.

15. A szoftver megpróbálta azt 64 bites lebegőpontos számból konvertálni anélkül, hogy ezt a konkrét konverziót túlcsordulás ellen védte volna, noha a szomszédos konverziók éppen ilyen kivétel ellen védelmet tartalmaztak.

16. Az ebből eredő kivétel először a tartalék tehetetlenségi egységet állította le.

17. Az aktív egység, amely azonos módon készült és lett programozva, szinte azonnal utána meghibásodott, így a fedélzeti számítógép érvényes irányítási és helyzetadatok nélkül maradt.

18. Ezután a meghibásodott egység diagnosztikai adatait repülési adatokként kezelte, így az irányítási számításba bevitt értékek már nem feleltek meg a rakéta tényleges helyzetének és mozgásának.

19. A számítógép olyan mozgásra reagálva rendkívüli fúvóka-eltérítéseket rendelt el, amely valójában nem történt meg.

20. Az aerodinamikai erők vetettek véget a repülésnek.

21. A lánc minden egyes láncszeme érthetővé vált, miután a nyomozók tudták, hol kell keresniük, de ezek kombinációja nem szerepelt abban az üzemeltetési forgatókönyvben, amelyet a rendszer minősítéséhez használtak.

22. Mi is volt pontosan az, amit nem tudtak?

23. A tervezők tudták, hogy a numerikus átalakítások meghibásodhatnak; ugyanabban a szoftverben több hasonló átalakítást is védtek, miközben ezt úgy kezelték, mintha a várható mozgás határain belül biztonságosan maradna.

24. Nem tesztelték ezt a védelem nélküli átalakítást az Ariane 5 korai pályájára vonatkozóan – pedig éppen ez a feltétel változtatta volna a látszólag bőkezű numerikus határt a küldetést véget vető korláttá.

25. Azt is tudták, hogy egy tartalék egység átveheti a meghibásodott fő egység helyét, ám a két egység ugyanazon kódba ágyazott feltételezésen alapult.

26. A veszély az ismert alkatrészek közötti kölcsönhatásban rejlett.

27. „Ismeretlen ismeretlennek” nevezni ezt csak egy adott csoport szempontjából, egy adott döntési ponton, és azon kérdések keretein belül értelmezhető, amelyeket az a csoport ténylegesen feltett.

28. A kilövési csapat számára ez a kombináció nem vált valós meghibásodási forgatókönyvvé, mivel az új rakéta mozgását nem vitték át a régi egység követelményeibe és tesztjeibe.

29. Egy olyan nyomozó számára, aki rendelkezett a tényleges repülési profillal és a kóddal, ez tesztelhető eset volt.

30. A vizsgálóbizottság kifejezetten megállapította, hogy ha reprezentatív Ariane 5 repülési adatokat tápláltak volna be a tehetetlenségi rendszerbe, az indítás előtt feltárták volna a mechanizmust.

31. Ez egy elszalasztott lehetőség volt a felfedezésre, nem pedig annak a bizonyítéka, hogy az előrelátás lehetetlen volt.

32. Egy kockázati modell azzal kezdődik, hogy határt húz annak köré, amit érdemes vizsgálni.

33. Csak azokra az eseményekre és összefüggésekre tud következményeket vagy meghibásodási arányokat kiszámítani, amelyeket e határon belül figyelembe vesz, függetlenül attól, hogy a lehetőségek körének kiválasztása után a számítások mennyire pontosak lesznek.

34. Amikor egy alkatrészt azért minősítenek alkalmasnak, mert egy másik járműben működött, az új jármű működési feltételei észrevétlenül kívül eshetnek a teszt hatókörén.

35. A modellben szereplő számok továbbra is helyesek lehetnek.

36. Ami hibás, az az a feltételezés, hogy a modell a rendszer minden lehetséges viselkedési módját magában foglalja.

37. Az Ariane-ügy vizsgálata megállapította, hogy az inerciális egység specifikációja nem tartalmazta az új rakéta pályáját funkcionális követelményként.

38. A berendezésszintű tesztek ezért nem reprodukálták a lényeges repülési sorrendet és pályát, annak ellenére, hogy a berendezés egyéb aspektusait alaposan megvizsgálták.

39. A nagy léptékű zárt hurkú szimulációkban, amelyek lehetővé teszik, hogy a modellezett rakéta reagáljon a saját szimulált irányítására, a tényleges inerciális egységeket egyszerűbb modellekkel helyettesítették.

40. Ezek a szimulációk számos interakciót át tudtak futtatni, miközben ezt az egyet kihagyták, mivel a várt kimeneteket szolgáltató modell nem hajtotta végre a valódi egység sebezhető igazítási számítását.

41. A döntés első ránézésre nem volt irracionális: a valódi berendezések használata költségekkel és műszaki nehézségekkel járt, és az egységeket már eleve alkalmasnak ítélték.

42. A szimuláció azonban átveszi helyettesítői vakfoltjait.

43. Ha egy helyettesítő eszköz az igazítási kód futtatása nélkül is hihető iránymutatást ad, akkor nem tudja feltárni, hogy az a kód hogyan viselkedik egy új pálya esetén.

44. A tesztelési lefedettségnek megvan a maga alakja.

45. Ez tükrözi a kiválasztott működési feltételeket, a feltételezett meghibásodásokat és a helyettesítő eszközök által reprodukált viselkedést.

46. Egy hosszú tesztsorozat ezért a kiválasztott területen belül szigorú lehet, és mégis elmulaszthatja azt a határt, amelytől a biztonság függ.

47. A vizsgálat nem minősítette a tesztelést vagy az áttekintést üres rituáléknak, mivel jelentése egy igényes programot írt le, amely számos más problémát feltárt és kijavított.

48. Leírta azokat a kiterjedt áttekintéseket, amelyek sok problémát kijavítottak, majd azonosította azt a pontos eltérést, amelyet ezek az erőfeszítések nem vizsgáltak meg.

49. Ez a megkülönböztetés azért fontos, mert egy utólag felfedezett hiba minden korábbi ítéletet gondatlannak tüntethet fel, még akkor is, ha a valódi tanulság az ítéletek közötti összefüggésekre vonatkozik.

50. Ki vitte át az új pályát a régi egység specifikációjába?

51. Ki láthatta, hogy az igazítási funkció a felszállás után is tovább futott, és kinek volt jogosultsága megkérdőjelezni annak ottani célját?

52. A dokumentáció arra utal, hogy a döntések a projektpartnerek és a specifikációs szintek között oszlottak meg, ahol egy változó tartományára vonatkozó feltételezés egyre nehezebben volt felismerhető, ahogy átlépte a szervezeti határokat.

53. A felelősség megoszlott; az ellenőrizetlen feltételezés közös volt.

54. A két inerciális egység jól illusztrálja a redundancia korlátait egy gyakori tervezési hiba ellen.

55. A hardver duplikálása védelmet nyújthat egy eszköz véletlenszerű meghibásodása ellen, ha a másik működőképes marad; ezért volt a két inerciális egység ésszerű megoldás a használt meghibásodási modell keretében.

56. Ugyanazon szoftver duplikálása és mindkét példánynak ugyanazon repülési körülményeknek való kitéve mindkét példány számára ugyanazt az utat jelenti a meghibásodásig.

57. A tartalék egység éppen akkor tűnt el, amikor az aktív egységnek szüksége lett volna rá.

58. A probléma nem ért véget azzal sem, hogy az egységek leálltak: a fedélzeti számítógép a diagnosztikai biteket úgy fogadta, mintha azok navigációs értékek lennének.

59. A rendszer kivételre adott reakciója így hozzájárult ahhoz, hogy egy korlátozott aritmetikai hiba irányíthatatlansághoz vezessen, mivel a meghibásodott egység nem korlátozta a hibás számítást, hanem abbahagyta az érvényes navigációs adatok szolgáltatását.

60. Ez a láncolat több olyan pontot is feltár, ahol a mérnökök megakadályozhatták volna a következményeket, az elavult funkció futási idejének korlátozásától kezdve a reprezentatív bemeneti adatokkal történő tesztelésen át egészen annak megakadályozásáig, hogy érvénytelen adatok irányítási adatoknak álcázzák magukat.

61. Ezek a megoldások nem igénylik minden jövőbeli hiba előrejelzését; azt igénylik, hogy nyomon kövessék, hogyan lehet egy adott működési feltételezést megkérdőjelezni, mielőtt az egész rendszer attól függne.

62. Ehhez pontosabban meg kell határozni, hogy egy alkatrész hol fog működni, és mi történjen, ha a meghatározott kereteken kívül viselkedik.

63. Egy beszállító feltételezései között meghagyott működési határ nem szolgálhat iránymutatásul a rendszer teszteléséhez.

64. A vizsgálóbizottság azt javasolta, hogy ilyen határokat határozzanak meg, reális bemeneti adatokkal végezzenek tesztelést, és megakadályozzák a felesleges szoftverfunkciók repülés közbeni futtatását, hogy az örökölt viselkedés szembesüljön az új felhasználási körülményekkel.

65. Ajánlásai egy rekonstruálható meghibásodáson alapultak.

66. Ezeket nem szabad olyan ígéretté felfújni, miszerint az átfogó tesztelés felsorolhatja egy komplex gép minden egyes interakcióját.

67. Bizonyos kimenetelek hiányoznak a rendelkezésre álló adatokból, mert senki sem mérte meg a vonatkozó állapotot, annak ellenére, hogy az állapot és a mérési módszer már ismert.

68. Más kimenetelekről még nem lehet következtetni, mert a bizonyítékok túl szórványosak, vagy az ok-okozati összefüggést még nem ismerték fel.

69. Megint mások elképzelhetőek, de továbbra is teszteletlenek maradnak, mert a tesztelés pénzt, időt, felszerelést igényel, vagy kockázatnak teszi ki a résztvevőket, így valakinek el kell döntenie, hogy a javasolt felhasználás mennyire indokolja a bizonyítékok összegyűjtését.

70. Ezek különböző hiányosságok.

71. Az első esetben új mérési módszerre lehet szükség, a másodikban megfigyelésre és vizsgálatra, a harmadikban pedig arra, hogy eldöntsék, melyik teszt vagy korlátozás indokolt.

72. A különbség még élesebbé válik, ha a vizsgált tárgy nem rakéta, hanem gyógyszer.

73. 1960-ban William Merrell engedélyt kért a talidomid Kevadon néven történő forgalmazására az Egyesült Államokban.

74. A gyógyszer már számos más országban kapható volt.

75. Frances Oldham Kelsey, az FDA orvosi szakértője, a kérelemben szereplő biztonsági bizonyítékokat elégtelennek találta, és nem engedélyezte a gyógyszer forgalomba hozatalát, annak ellenére, hogy a jóváhagyást kérő vállalat folyamatos nyomást gyakorolt rá.

76. Az előtte álló kérdés az volt, hogy a benyújtott bizonyítékok alátámasztják-e a gyógyszer széles körű forgalomba hozatalát a betegek számára.

77. Nem arról volt szó, hogy felsorolhassa-e a gyógyszer által okozható összes káros hatást.

78. Az FDA beszámolói leírják az anyag szervezetben való áthaladásával kapcsolatos aggályokat, valamint a hosszan tartó használattal összefüggő idegkárosodásokról szóló jelentéseket.

79. Ezek az aggályok további bizonyítékokat tettek szükségessé, még akkor is, ha nem adtak teljes képet azokról a súlyos veleszületett rendellenességekről, amelyeket később a terhesség alatti expozícióval hoztak összefüggésbe.

80. Az időzítés döntő fontosságú.

81. Csak később, 1961-ben jelentek meg Németországból és Ausztráliából olyan jelentések, amelyek azonosították a talidomid és a súlyos veleszületett rendellenességek gyakori előfordulása közötti összefüggést, miután az amerikai vizsgálat már korábban felfüggesztette a forgalmazást.

82. Ha ezt az ismeretet visszamenőleg értelmezzük, akkor a fegyelmezett kifogásból lehetetlen előrelátás válik.

83. Kelsey döntése ehelyett egy nem kellően alátámasztott biztonsági állítást tekintett oknak az általános forgalomba hozatali engedély visszatartására, arra kényszerítve a vállalatot, hogy jobb bizonyítékokat nyújtson be, ahelyett, hogy a betegektől várná el a bizonytalanság elviselését.

84. Ez megváltoztatta, hogy ki viselte a bizonytalanság terhét.

85. A gyártónak erősebb bizonyítékokat kellett benyújtania, mielőtt a szokásos értékesítés révén sokkal szélesebb körű lakosságot tehetett volna ki a kockázatnak; ez eltérő kockázatmegosztást jelentett ahhoz képest, ha a gyógyszert jóváhagyták volna, miközben megválaszolatlan kérdések maradtak.

86. Azok a betegek és terhes nők, akik esetleg szedtek volna egy forgalomba hozott gyógyszert, védelmet kaptak ettől a szélesebb körű forgalomba hozataltól.

87. A védelem nem volt teljes.

88. A Merrell az FDA történeti beszámolója szerint több mint kétmillió tablettát forgalmazott az Egyesült Államokban kísérleti célokra.

89. Ez a szám a tablettákat számolja, nem pedig a terhességeket, a sérült gyermekeket vagy akár az egyes címzetteket, így önmagában nem mérhető vele az a személyi kár, amelyet a kísérleti forgalmazás okozhatott.

90. Az azonban egyértelművé teszi, hogy a forgalomba hozatali engedély megtagadása nem zárta le az expozíció minden útját.

91. A széles körű értékesítés és a kísérleti célú forgalmazás közötti különbségtétel azért fontos, mert egy intézmény bezárhat egy kaput, miközben egy másikat nem ellenőriz kellőképpen – amint azt az FDA később elismerte, amikor leírta az adott időszakban a kísérleti felhasználásra vonatkozó laza felügyeletet.

92. Amint a veszély ismertté vált, az FDA megkísérelte visszaszerezni a forgalomba hozott készleteket.

93. A bejelentési csatorna csak akkor hasznos, ha a aggasztó megfigyelések áthaladhatnak rajta, miközben a döntések még megváltoztathatók, és csak akkor, ha a címzettek képesek megkülönböztetni a mintát azoktól az elszigetelt jelentésektől, amelyeknek nincs közös oka.

94. Ebben az esetben a releváns gyengeség nem egy túlcsorduló egész szám volt, hanem a hiányos bizonyíték arra vonatkozóan, hogy egy anyag milyen hatást gyakorolhat egy élő szervezetben.

95. Sem egy rakéta szimulációja, sem egy klinikai felülvizsgálat nem tudta volna kiküszöbölni az összes meglepetést.

96. Mindkét eset azonban megmutatja, miért nem szükséges, hogy egy figyelmeztetés a végső mechanizmust pontosan meghatározza ahhoz, hogy figyelmet érdemeljen.

97. Az Ariane specifikációja közölhette volna az új pályát azoknak, akik az örökölt egységet tesztelték.

98. Az FDA-vizsgálat ragaszkodhatott volna ahhoz, hogy a szponzor a rendes forgalomba hozatal megkezdése előtt válaszoljon a megoldatlan biztonsági kérdésekre.

99. Mindkét esetben a gyakorlati kérdés az volt, hogy a döntéshozatali folyamat egy feltételezést vitathatóvá tett-e abban a pillanatban, amikor az számított.

100. Az összehasonlításnak vannak korlátai.

101. Egy hordozórakétát a becsült pálya alapján lehet tesztelni anélkül, hogy betegeket tennénk ki kockázatnak, míg egy gyógyszer ritka vagy késleltetett hatásai még gondos forgalomba hozatal előtti vizsgálatok után is rejtve maradhatnak.

102. Ezzel szemben egy rakéta tényleges repülése alig hagy időt egy sikertelen program leállítására vagy módosítására, míg egy gyógyszerügyi szabályozó hatóság a bizonyítékok felhalmozódásával korlátozhatja a forgalmazást és módosíthatja az engedélyt.

103. Ezek a különbségek határozzák meg, mely biztonsági intézkedések működhetnek.

104. A reprezentatív tesztek a tervezett környezet és az a környezet közötti eltérést vizsgálják, amelybe a gép kerülni fog.

105. A független felülvizsgálat megkérdőjelezheti, hogy egy ismerős terv vagy a szponzor bizonyítékai a megfelelő kérdésre adnak-e választ, különösen akkor, ha a bizalom egy korábbi, eltérő környezetben történő használaton alapul.

106. A nemkívánatos események jelentése feltárhatja az expozíciót követő káros hatásokat, bár ezek a jelzések csak akkor érkeznek, ha valaki észreveszi, összefüggésbe hozza és közli a mintát olyan esetek között, amelyek kezdetben egymástól függetlennek tűnhetnek.

107. Egy olyan kifogás, amely késleltetheti a forgalomba hozatalt, időt ad ezeknek a jelzéseknek, hogy jelentőséget nyerjenek.

108. Ezen intézkedések egyike sem alakítja át a tudatlanságot a veszélyek teljes listájává.

109. Megváltoztatják annak valószínűségét, hogy egy kialakuló eltérést észrevesznek, mielőtt annak következményei elterjednének, és korlátozzák, hogy egy döntés milyen messzire haladhat el, amíg hiányoznak a döntő bizonyítékok.

110. Ennek az előnynek vannak költségei: a kiterjedtebb tesztelés késleltetheti a piacra dobást, a szigorúbb jóváhagyás pedig elhalaszthatja a hasznos kezeléshez való hozzáférést.

111. Ezeket a költségeket is figyelembe kell venni a döntés során, a lehetséges kár mértékével és azzal a nehézséggel együtt, hogy a rakétaindítás vagy a gyógyszer betegekhez való eljutása után már nem lehet visszafordítani a kitettséget.

112. De ha konkrét katasztrófát követelünk, mielőtt reprezentatív bizonyítékot kérnénk, az ellentmondana a vakfolt vizsgálatának céljának.

113. A kihívás abban áll, hogy a bizonyíték iránti kérelmet elég konkrétan fogalmazzuk meg ahhoz, hogy válaszolható legyen, miközben elismerjük, hogy bizonyos károk még egy gondosan megtervezett vizsgálat keretein kívül is maradnak.

114. Az Ariane-ügy nyomozói a roncsok összegyűjtése után tudták azonosítani a hiányzó tesztet.

115. Az indítás előtt értékesebb kérdés az lett volna, hogy miért futott tovább egy olyan funkció, amelynek a repülés során nem volt célja, egy olyan repülési profilon keresztül, amelyre soha nem tesztelték.

116. Ez a kérdés nem talál ki egy ismeretlen katasztrófát.

117. Felfedi egy feltételezést, és lehetőséget ad valakinek arra, hogy megkérdőjelezze azt, amíg a rakéta még a földön van.

1. Am 4. Juni 1996 startete die Ariane 5 von Kourou zu ihrem ersten Flug.

2. Ihr Aufstieg verlief zunächst normal.

3. Dann empfing die Rakete Steuerungsdaten, die ihre Bewegung nicht beschrieben, drehte sich abrupt, zerbrach und löste ihr Zerstörungssystem aus.

4. Der Flug dauerte weniger als eine Minute.

5. Die Ermittler bargen beide Trägheitsreferenzgeräte – die Vorrichtungen, die dem Flugcomputer hätten mitteilen sollen, wie sich das Fahrzeug bewegte – und rekonstruierten deren Verhalten anhand der gespeicherten Daten sowie der Telemetrie.

6. Beide hatten aus demselben Grund ihren Betrieb eingestellt.

7. Der Ausfall war weder auf einen Meteoriteneinschlag, einen defekten Sensor noch auf eine neue Naturgewalt zurückzuführen.

8. Er hatte seinen Ursprung in der von der früheren Ariane 4 übernommenen Software.

9. Diese Software enthielt eine Ausrichtungsfunktion, die vor dem Start nützlich war, wenn das Trägheitssystem seine Ausrichtung gegenüber einem stationären Startplatz festlegte.

10. Bei der Ariane 5 lief diese Funktion auch nach dem Start weiter.

11. Die ältere Rakete hatte diese Vorkehrung benötigt, um einer bestimmten späten Unterbrechung ihres Countdowns Rechnung zu tragen; die Ariane 5 hatte eine andere Vorbereitungssequenz, übernahm jedoch denselben Zeitablauf.

12. Die Beibehaltung der vertrauten Funktion schien weniger riskant als die Änderung von erprobtem Code.

13. Sobald die neue Rakete jedoch beschleunigte, berechnete die ungenutzte Funktion weiterhin eine Größe, die mit der horizontalen Bewegung zusammenhing – unter Bedingungen, die sich von denen der Ariane 4 unterschieden.

14. Ein Wert wuchs über den Bereich einer vorzeichenbehafteten 16-Bit-Ganzzahl hinaus.

15. Die Software versuchte, ihn aus einer 64-Bit-Gleitkommazahl zu konvertieren, ohne diese spezielle Konvertierung vor einem Überlauf zu schützen, obwohl benachbarte Konvertierungen über Schutzmaßnahmen gegen genau eine solche Ausnahme verfügten.

16. Die daraus resultierende Ausnahme schaltete zunächst die Reserve-Trägheitsmesseinheit ab.

17. Die aktive Einheit, die identisch aufgebaut und programmiert war, fiel fast unmittelbar danach aus, wodurch der Bordcomputer keine gültigen Leit- und Lageinformationen mehr erhielt.

18. Daraufhin behandelte er Diagnosedaten der ausgefallenen Einheit als Flugdaten, sodass die in die Leitberechnung einfließenden Werte nicht mehr der tatsächlichen Position und Bewegung der Rakete entsprachen.

19. Der Computer gab als Reaktion auf eine Bewegung, die gar nicht stattgefunden hatte, Befehle für extreme Düsenauslenkungen.

20. Aerodynamische Kräfte beendeten den Flug.

21. Jedes Glied in dieser Kette war nachvollziehbar, sobald die Ermittler wussten, wo sie suchen mussten, doch deren Kombination war nicht Teil des Betriebsszenarios gewesen, anhand dessen das System qualifiziert worden war.

22. Was genau war unbekannt gewesen?

23. Die Konstrukteure wussten, dass numerische Umrechnungen fehlschlagen konnten; sie hatten mehrere ähnliche Umrechnungen in derselben Software abgesichert, während sie diese als sicher innerhalb der erwarteten Bewegung liegend betrachteten.

24. Sie hatten diese ungeschützte Umrechnung nicht anhand der frühen Flugbahn der Ariane 5 getestet – jener Bedingung, die eine scheinbar großzügige numerische Grenze zu einer für die Mission fatalen Grenze machen würde.

25. Sie wussten auch, dass eine Reserveeinheit die Funktion einer ausgefallenen Haupteinheit übernehmen konnte, doch beide Einheiten teilten die im selben Code verankerte Annahme.

26. Die Gefahr lag im Zusammenspiel bekannter Komponenten.

27. Die Bezeichnung „unbekanntes Unbekanntes“ macht nur im Verhältnis zu einer bestimmten Gruppe, an einem bestimmten Entscheidungspunkt und im Rahmen der Fragen Sinn, die diese Gruppe tatsächlich gestellt hat.

28. Für das Startteam war diese Kombination kein reales Ausfallszenario geworden, da die Bewegung der neuen Rakete nicht in die Anforderungen und Tests der alten Einheit einflossen war.

29. Für einen Ermittler, der über das tatsächliche Flugprofil und den Code verfügte, war dies ein überprüfbares Szenario.

30. Die Untersuchungskommission stellte ausdrücklich fest, dass die Eingabe repräsentativer Ariane-5-Flugdaten in die Trägheitsausrüstung den Mechanismus bereits vor dem Start aufgedeckt hätte.

31. Dies war eine verpasste Gelegenheit zur Aufdeckung, kein Beweis dafür, dass Vorausschau unmöglich war.

32. Ein Risikomodell beginnt damit, eine Grenze um das zu ziehen, was einer Untersuchung bedarf.

33. Es kann Konsequenzen oder Ausfallraten nur für Ereignisse und Zusammenhänge berechnen, die innerhalb dieser Abgrenzung berücksichtigt werden – wie präzise die Berechnungen auch immer sein mögen, sobald die Menge der Möglichkeiten festgelegt ist.

34. Wenn eine Komponente als qualifiziert erklärt wird, weil sie in einem anderen Trägerfahrzeug funktioniert hat, können die Betriebsbedingungen des neuen Trägerfahrzeugs unbemerkt außerhalb des Testumfangs liegen.

35. Die Zahlen innerhalb des Modells mögen dennoch korrekt sein.

36. Was jedoch fehlschlägt, ist die Annahme, dass das Modell jedes mögliche Verhalten des Systems abdeckt.

37. Die Ariane-Untersuchung ergab, dass die Spezifikation der Trägheitsmesseinheit die Flugbahn der neuen Rakete nicht als funktionale Anforderung enthielt.

38. Bei Tests auf Geräteebene wurden daher die entscheidenden Flugabläufe und Flugbahnen nicht nachgestellt, obwohl andere Aspekte der Ausrüstung gründlich geprüft worden waren.

39. Bei umfangreichen Closed-Loop-Simulationen, bei denen eine modellierte Rakete auf ihre eigene simulierte Steuerung reagieren konnte, wurden die tatsächlichen Trägheitsnavigationsgeräte durch einfachere Modelle ersetzt.

40. Diese Simulationen konnten zwar viele Interaktionen durchspielen, ließen diese eine jedoch außer Acht, da ein Modell, das die erwarteten Ergebnisse lieferte, die Berechnung der anfälligen Ausrichtung der realen Einheit nicht durchführte.

41. Diese Entscheidung war auf den ersten Blick nicht irrational: Der Einsatz realer Geräte war mit Kosten und technischen Schwierigkeiten verbunden, und die Einheiten galten bereits als qualifiziert.

42. Dennoch übernimmt eine Simulation die blinden Flecken ihrer Ersatzmodelle.

43. Wenn ein Ersatz plausible Anweisungen ausgibt, ohne den Ausrichtungscode auszuführen, kann er nicht aufzeigen, wie sich dieser Code unter einer neuen Flugbahn verhält.

44. Die Testabdeckung hat eine bestimmte Form.

45. Sie spiegelt die ausgewählten Betriebsbedingungen, die angenommenen Fehler und das Verhalten wider, das die Ersatzgeräte reproduzieren.

46. Eine lange Testkampagne kann daher innerhalb des gewählten Bereichs gründlich sein und dennoch die Grenze übersehen, von der die Sicherheit abhängt.

47. Die Untersuchung tat Tests oder Überprüfungen nicht als leere Rituale ab, da ihr Bericht ein anspruchsvolles Programm beschrieb, das viele andere Probleme aufgedeckt und behoben hatte.

48. Sie beschrieb umfangreiche Überprüfungen, durch die viele Probleme behoben worden waren, und identifizierte anschließend genau jene Diskrepanz, die bei diesen Bemühungen unberücksichtigt geblieben war.

49. Diese Unterscheidung ist wichtig, denn ein nachträglich entdeckter Fehler kann jedes frühere Urteil als nachlässig erscheinen lassen, selbst wenn die eigentliche Lehre darin besteht, wie diese Urteile miteinander zusammenhingen.

50. Wer hat die neue Flugbahn in die Spezifikation der alten Einheit übernommen?

51. Wer konnte erkennen, dass eine Ausrichtungsfunktion nach dem Start noch lief, und wer hatte die Befugnis, deren Zweck dort in Frage zu stellen?

52. Die Unterlagen deuten auf Entscheidungen hin, die über Projektpartner und Spezifikationsebenen verteilt waren, wobei eine Annahme über den Bereich einer Variablen schwerer zu erkennen sein konnte, je mehr sie organisatorische Grenzen überschritt.

53. Die Verantwortung war verteilt; die ungeprüfte Annahme wurde geteilt.

54. Die beiden Trägheitsmessgeräte veranschaulichen die Grenzen der Redundanz gegenüber einem häufigen Konstruktionsfehler.

55. Die Duplizierung von Hardware kann vor einem zufälligen Ausfall eines Geräts schützen, wenn das andere intakt bleibt; daher waren zwei Trägheitsmessgeräte unter dem verwendeten Ausfallmodell eine sinnvolle Maßnahme.

56. Die Duplizierung derselben Software und die Aussetzung beider Kopien denselben Flugbedingungen führt dazu, dass jede Kopie denselben Weg zum Ausfall nimmt.

57. Die Reserveeinheit fiel aus, kurz bevor die aktive Einheit sie benötigte.

58. Das Problem endete auch nicht, als die Einheiten ausfielen: Der Bordcomputer akzeptierte Diagnosebits, als wären sie Navigationswerte.

59. Die Reaktion des Systems auf eine Ausnahme trug somit dazu bei, einen begrenzten Rechenfehler in einen Kontrollverlust zu verwandeln, da die ausgefallene Einheit keine gültigen Navigationsdaten mehr lieferte, anstatt die fehlerhafte Berechnung einzudämmen.

60. Diese Kette offenbart mehrere Stellen, an denen Ingenieure die Folge hätten unterbrechen können – von der Begrenzung der Laufzeit einer veralteten Funktion über das Testen mit repräsentativen Eingaben bis hin zur Verhinderung, dass ungültige Daten als Steuerdaten getarnt werden.

61. Diese Abhilfemaßnahmen erfordern nicht die Vorhersage jedes zukünftigen Fehlers; sie erfordern vielmehr die Nachverfolgung, wie eine bestimmte Betriebsannahme in Frage gestellt werden kann, bevor ein gesamtes System davon abhängt.

62. Sie erfordern eine genauere Beschreibung, wo eine Komponente betrieben wird und was geschehen sollte, wenn sie sich außerhalb dieser Beschreibung verhält.

63. Eine Betriebsgrenze, die in den Annahmen eines einzelnen Lieferanten verbleibt, kann kein Systemtestkriterium sein.

64. Der Untersuchungsausschuss empfahl, solche Grenzen festzulegen, mit realistischen Eingaben zu testen und zu verhindern, dass unnötige Softwarefunktionen während des Fluges ausgeführt werden, damit das übernommene Verhalten den Bedingungen seiner neuen Verwendung ausgesetzt wird.

65. Ihre Empfehlungen basierten auf einem rekonstruierbaren Ausfall.

66. Sie sollten nicht zu dem Versprechen hochgespielt werden, dass umfassende Tests jede Interaktion in einer komplexen Maschine erfassen können.

67. Einige Ergebnisse fehlen in den verfügbaren Daten, weil niemand die relevante Bedingung gemessen hat, obwohl sowohl die Bedingung als auch eine Messmethode bereits bekannt sind.

68. Andere lassen sich noch nicht ableiten, weil die Belege zu spärlich sind oder der kausale Zusammenhang noch nicht erkannt wurde.

69. Wieder andere sind zwar vorstellbar, bleiben aber ungeprüft, da Tests Geld, Zeit, Ausrüstung oder die Gefahr einer Schädigung erfordern, sodass jemand entscheiden muss, wie viele Belege eine vorgeschlagene Anwendung rechtfertigt.

70. Dies sind unterschiedliche Lücken.

71. Die erste erfordert möglicherweise eine neue Messung, die zweite Beobachtung und Untersuchung und die dritte eine Entscheidung darüber, welcher Test oder welche Einschränkung gerechtfertigt ist.

72. Die Unterscheidung wird deutlicher, wenn es sich bei dem zu prüfenden Gegenstand um ein Medikament und nicht um eine Rakete handelt.

73. Im Jahr 1960 beantragte William Merrell die Zulassung für die Vermarktung von Thalidomid in den Vereinigten Staaten unter dem Namen Kevadon.

74. In vielen anderen Ländern war es bereits erhältlich.

75. Frances Oldham Kelsey, eine medizinische Gutachterin der FDA, befand die im Antrag vorgelegten Sicherheitsnachweise für unzureichend und lehnte die Zulassung ab, trotz anhaltenden Drucks seitens des Unternehmens, das die Zulassung anstrebte.

76. Die Frage, die sich ihr stellte, war, ob die vorgelegten Nachweise eine breite Freigabe für Patienten rechtfertigten.

77. Es ging nicht darum, ob sie jeden möglichen Schaden aufzählen konnte, den das Medikament verursachen könnte.

78. In den Berichten der FDA werden Bedenken hinsichtlich des Verbleibs der Substanz im Körper sowie Berichte über Nervenschäden im Zusammenhang mit längerer Einnahme beschrieben.

79. Diese Bedenken erforderten weitere Nachweise, auch wenn sie noch kein vollständiges Bild der schweren Geburtsfehler vermittelten, die später mit einer Exposition während der Schwangerschaft in Verbindung gebracht wurden.

80. Der Zeitpunkt ist entscheidend.

81. Erst später im Jahr 1961 wiesen Berichte aus Deutschland und Australien auf den Zusammenhang zwischen Thalidomid und Häufungen schwerer angeborener Fehlbildungen hin, nachdem die amerikanische Prüfung die Markteinführung bereits aufgehalten hatte.

82. Würde man diese Erkenntnisse rückblickend betrachten, würde aus einem fundierten Einwand eine unmögliche Vorausschau.

83. Kelseys Entscheidung behandelte stattdessen eine unzureichend belegte Sicherheitsbehauptung als Grund, die allgemeine Marktzulassung zu verweigern, und überließ es dem Unternehmen, bessere Nachweise zu erbringen, anstatt von den Patienten zu verlangen, die Unsicherheit in Kauf zu nehmen.

84. Das veränderte die Verteilung der Last der Unsicherheit.

85. Der Hersteller musste stichhaltigere Nachweise vorlegen, bevor er durch den regulären Verkauf eine viel größere Bevölkerungsgruppe dem Risiko aussetzen durfte – eine andere Risikoverteilung als bei einer Zulassung des Medikaments, solange noch offene Fragen bestanden.

86. Patienten und Schwangere, die möglicherweise ein bereits auf dem Markt befindliches Medikament eingenommen hätten, wurden vor dieser breiteren Freigabe geschützt.

87. Der Schutz war unvollständig.

88. Merrell verteilte laut den historischen Aufzeichnungen der FDA mehr als zwei Millionen Tabletten in den Vereinigten Staaten für den Einsatz in klinischen Studien.

89. Diese Zahl bezog sich auf Tabletten, nicht auf Schwangerschaften, geschädigte Kinder oder gar einzelne Empfänger; daher kann sie für sich genommen nicht das Ausmaß des menschlichen Schadens messen, den der Vertrieb im Rahmen klinischer Studien möglicherweise verursacht hat.

90. Sie belegt jedoch, dass die Verweigerung der Marktzulassung nicht jeden Expositionsweg unterbunden hat.

91. Die Unterscheidung zwischen allgemeinem Verkauf und Verteilung zu Forschungszwecken ist von Bedeutung, da eine Institution zwar eine Tür schließen, eine andere jedoch unzureichend kontrolliert lassen kann, wie die FDA später bei der Beschreibung der laxen Aufsicht über die Verwendung zu Forschungszwecken in jenem Zeitraum einräumte.

92. Sobald die Gefahr bekannt wurde, bemühte sich die FDA, die verteilten Bestände zurückzurufen.

93. Ein Meldesystem ist nur dann nützlich, wenn besorgniserregende Beobachtungen darüber weitergeleitet werden können, solange Entscheidungen noch geändert werden können, und nur dann, wenn die Empfänger ein Muster von vereinzelten Meldungen unterscheiden können, die keine gemeinsame Ursache haben.

94. Hier bestand die entscheidende Schwachstelle nicht in einem Überlauf einer Ganzzahl, sondern in unvollständigen Erkenntnissen darüber, wie sich eine Substanz im lebenden Körper verhalten könnte.

95. Keine Raketensimulation und keine klinische Überprüfung konnte alle Überraschungen ausschließen.

96. Beide Fälle zeigen dennoch, warum eine Warnung den endgültigen Mechanismus nicht konkret benennen muss, um Beachtung zu verdienen.

97. Die Ariane-Spezifikation hätte die neue Flugbahn den Personen vermitteln können, die das überlieferte Gerät testeten.

98. Die FDA-Prüfung hätte darauf bestehen können, dass der Sponsor ungeklärte Sicherheitsfragen beantwortet, bevor der reguläre Vertrieb begann.

99. In jedem Fall ging es praktisch darum, ob ein Entscheidungsprozess eine Annahme an dem entscheidenden Punkt anfechtbar machte.

100. Der Vergleich hat seine Grenzen.

101. Eine Trägerrakete kann anhand einer vorhergesagten Flugbahn getestet werden, ohne Patienten zu gefährden, während seltene oder verzögert auftretende Wirkungen eines Arzneimittels selbst nach sorgfältigen Studien vor der Markteinführung verborgen bleiben können.

102. Umgekehrt lässt der tatsächliche Flug einer Rakete kaum Zeit, ein fehlgeschlagenes Programm zu stoppen oder zu überarbeiten, während eine Arzneimittelaufsichtsbehörde den Vertrieb einschränken und die Zulassung revidieren kann, sobald sich Beweise ansammeln.

103. Diese Unterschiede bestimmen, welche Sicherheitsvorkehrungen funktionieren können.

104. Repräsentative Tests befassen sich mit einer Diskrepanz zwischen einer geplanten Umgebung und der Umgebung, in die eine Maschine gelangen wird.

105. Eine unabhängige Überprüfung kann hinterfragen, ob ein bekanntes Design oder die Nachweise eines Sponsors die richtige Frage beantworten, insbesondere wenn das Vertrauen auf einer früheren Nutzung in einem anderen Umfeld beruht.

106. Die Meldung unerwünschter Ereignisse kann Schäden nach der Exposition aufdecken, auch wenn die entsprechenden Signale erst dann eintreffen, wenn jemand das Muster zwischen Fällen, die zunächst scheinbar nichts miteinander zu tun haben, bemerkt, in Zusammenhang bringt und kommuniziert.

107. Ein Einspruch, der die Freigabe verzögern kann, gibt diesen Signalen Zeit, Bedeutung zu erlangen.

108. Keine dieser Maßnahmen verwandelt Unwissenheit in eine vollständige Liste von Gefahren.

109. Sie verändern die Wahrscheinlichkeit, dass eine sich abzeichnende Diskrepanz bemerkt wird, bevor sich ihre Folgen ausbreiten, und sie begrenzen, wie weit eine Entscheidung voranschreitet, solange entscheidende Beweise fehlen.

110. Dieser Nutzen hat seinen Preis: Umfangreichere Tests können einen Start verzögern, und strengere Zulassungsauflagen können den Zugang zu einer nützlichen Behandlung hinauszögern.

111. Diese Kosten müssen in die Entscheidung einfließen, ebenso wie das Ausmaß möglicher Schäden und die Schwierigkeit, die Exposition rückgängig zu machen, sobald eine Rakete gestartet ist oder ein Medikament die Patienten erreicht hat.

112. Doch die Forderung nach einer konkret benannten Katastrophe, bevor repräsentative Beweise angefordert werden, würde den Sinn der Untersuchung eines blinden Flecks zunichte machen.

113. Die Herausforderung besteht darin, eine Aufforderung zur Vorlage von Beweisen so konkret zu formulieren, dass sie beantwortet werden kann, und gleichzeitig einzuräumen, dass einige Schäden selbst bei einer sorgfältig konzipierten Untersuchung unberücksichtigt bleiben werden.

114. Die Ermittler bei Ariane konnten einen fehlenden Test identifizieren, nachdem die Trümmerteile geborgen worden waren.

115. Vor dem Start wäre die wichtigere Frage gewesen, warum eine Funktion, die im Flug keinen Zweck erfüllt, dennoch ein Flugprofil durchlief, für dessen Bewältigung sie nie getestet worden war.

116. Diese Frage erfindet keine unbekannte Katastrophe.

117. Sie deckt eine Annahme auf und gibt jemandem die Möglichkeit, diese in Frage zu stellen, solange die Rakete noch am Boden steht.