10.5 – Hibatűrés az optimum helyett – Fehlertoleranz statt Optimum

1. 1989. július 19-én délután a United Airlines 232-es járata Iowa felett repült, amikor a farokba szerelt hajtómű ventilátorlapátja szétesett.

2. A fémtörmelékek olyan nagy erővel repültek kifelé, hogy áttörték a repülőgépet a környékükön.

3. Pillanatok alatt mindhárom hidraulikus rendszerben a nyomás és a folyadékmennyiség nullára esett vissza.

4. A repülőgép éppen azért rendelkezett három hidraulikus rendszerrel, mert egyetlen hidraulikus meghibásodás sem fosztathatta meg a DC-10-est a repülésirányító rendszerétől.

5. A törmelékdarabok azonban két rendszer vezetékeit elvágták, míg a hajtómű szétesése a harmadik rendszerhez tartozó berendezéseket tette működésképtelenné.

6. A három tartalék rendszer egy olyan eseménybe ütközött, amely elég nagy volt ahhoz, hogy mindhármat érintse.

7. Mivel a vezérlőfelületek már nem reagáltak, a pilóták csak a két megmaradt hajtómű tolóerejének változtatásával tudták befolyásolni a repülőgépet: egyenlőtlen teljesítményt használva a kanyarodáshoz, és kombinált teljesítményváltoztatásokkal a magassági irányításhoz.

8. Elérték Sioux Cityt, de a repülőgép a leszállási kísérlet során darabokra szakadt; a hivatalos jelentés a fedélzeten tartózkodó 296 ember közül 111-et halálos sérüléssel sújtottnak minősített, míg 185-en túlélték magát a balesetet.

9. A Nemzeti Közlekedésbiztonsági Tanács arra a következtetésre jutott, hogy az összes hidraulikus repülésvezérlő elvesztése után a kifutópályán való sikeres leszállás gyakorlatilag lehetetlen volt, és a legénység teljesítményét messze a ésszerű elvárásokon túlmutatónak ítélte.

10. A baleset rávilágít egy olyan különbségre, amely a megnyugtató „tartalék” szó mögött rejtőzik.

11. A hibatűrés nem azt ígéri, hogy semmi sem fog rosszul sülni el, hanem azt a képességet jelenti, hogy egy kritikus funkciót életben tartsunk, a károkat korlátozzuk, a problémákat felismerjük, és helyreálljunk, ha mégis valami baj történik.

12. A hiba az ok, például egy repedt lemez vagy egy hibás utasítás, míg a meghibásodás az a funkcióvesztés, amelyre a nagyobb rendszernek szüksége volt.

13. A kettő között rejlik a tervezés valódi feladata: megakadályozni, hogy egy helyi hiba általános összeomláshoz vezessen.

14. Egy kiegészítő alkatrész csak akkor segít, ha az első meghibásodásakor is rendelkezésre áll.

15. Ha mindkét alkatrész ugyanazon áramellátástól függ, ugyanazt a sebezhető helyet foglalja el, ugyanazon téves feltételezésre támaszkodik, vagy ugyanazokat a sérült adatokat kapja, akkor számbeli sokaságuk elrejtheti a funkcionális egységességet.

16. A mérnökök ezt közös okú meghibásodásnak nevezik, mert egy esemény meghiúsítja több olyan védelmi mechanizmust, amelyek külön-külön számolva függetlennek tűntek.

17. A 232-es járat hidraulikus rendszerei nem voltak értelmetlen redundanciák; számos meghibásodás ellen védtek, csak éppen nem aznap bekövetkezett pusztító eseménysorozat ellen.

18. Ez a pontosítás azért fontos, mert utólag bármilyen hiányos védelem ostobának tűnhet, míg bármilyen működőképes védelem elegendőnek látszhat.

19. A polgári légi közlekedési irányelvek viszont a hibabiztos tervezést intézkedések kombinációjaként kezelik, ideértve a redundanciát, a fizikai vagy funkcionális elszigetelést, a figyelmeztetéseket, az ellenőrizhetőséget, az eljárásokat, a szabályozott meghibásodási útvonalakat, valamint a kedvezőtlen körülményekre vonatkozó tartalékokat, amelyeket előre nem határoztak meg teljes mértékben.

20. Ezen a listán egyetlen elem sem helyettesítheti a többit.

21. A megvalósítható válasz nélküli figyelmeztetés csupán a kudarcot jelzi, az elszigetelés nélküli tartalék ugyanazt a veszélyt hordozza magában, az visszacsatolás nélküli elszigetelés pedig oda vezethet, hogy a kezelők nem veszik észre, hogy a biztonsági tartalékuk már elfogyott.

22. A hibatűrés tehát kapcsolatok rendszere, nem pedig pótalkatrészek raktára.

23. A 232-es járat azt is megmutatta, miért kell az embereknek is része lenniük ennek a rendszernek.

24. Egy éppen utasként utazó, képzésellenőrző pilóta lépett be a pilótafülkébe, és segített a hajtóművek kezelésében, miközben a repülőszemélyzet egymás között osztotta szét a példátlan irányítási problémát.

25. A nyomozók ezt az együttműködést a Unitednél folytatott, egy évtizedes legénységi erőforrás-kezelési képzéshez kötötték, amely megtanította a pilótákat arra, hogy a kapitányi széknél túlmutató információkat és készségeket is felhasználjanak.

26. A képzés nem tartalmazott eljárást a teljes hidraulikus meghibásodás esetére, mivel a gyártók, a szabályozó hatóságok és a légitársaság ezt az eseményt túl valószínűtlennek tartották ahhoz, hogy ilyenre szükség legyen.

27. Ugyanakkor megőrizte a koordinált improvizáció képességét arra az esetre, amikor a döntési fa írásbeli ága véget ért.

28. Ez a rugalmasság valódi formája, de nem szabad, hogy a katasztrófát megnyugtató mesévé alakítsa át, amely hősi helyreállításról szól.

29. Az improvizáció nem állította helyre a repülésirányító rendszert, és a rendkívüli szakértelem sem tudta megakadályozni 111 ember halálát.

30. A hibatűrő rendszer mindig meghatározott típusú és mértékű hibákat tűri, soha nem pedig az elvont értelemben vett hibákat.

31. Ez a határ elválasztja a hibatűrést a sebezhetetlen tervezés álmától, és elválasztja a megbízhatóságra való törekvést az egyetlen optimális megoldás keresésétől.

32. Egy repülőgép, egy organizmus, egy alkotmány vagy egy szervezet a várt körülmények között ragyogóan teljesíthet, ha erőforrásait a leghatékonyabb útvonalra összpontosítja.

33. Ugyanez az összpontosítás egy szokatlan zavart aránytalanul pusztítóvá tehet, mert nincs tartalék útvonal, nincs védett rekesz, és nincs begyakorolt módszer a reakció módosítására.

34. A tartalékban tartott kapacitás rendes napokon hatástalannak tűnik, mert pénzt, anyagot, figyelmet vagy energiát fogyaszt anélkül, hogy növelné a rutin teljesítményt.

35. Értéke csak a jövőbeli események azon tartományában jelenik meg, amelyeken keresztül a rendszer tovább tud működni.

36. A redundancia egy módja annak, hogy ezt a tartományt biztosítsuk azáltal, hogy több, a szükséges funkciót ellátni képes komponenst tartunk fenn.

37. A modularitás más módon biztosítja ezt: úgy osztja fel a rendszert, hogy az egyik részben bekövetkező kár vagy változás ne terjedhessen korlátlanul át a többire.

38. A vízzáró válaszfalat, a cserélhető szoftveres szolgáltatást és a szövetségi hatalomfelosztást egyaránt modulárisnak nevezik, de a közös kifejezés nem szabad, hogy elhomályosítsa a különböző mechanizmusaikat.

39. Az acél fizikai gáton keresztül tartja vissza a vizet, a szoftver meghatározott interfészeken keresztül tartja vissza bizonyos hibákat, az alkotmány pedig jogszerű hatásköröket oszt szét olyan intézmények között, amelyekben stratégiai gondolkodású emberek dolgoznak.

40. A hasznos hasonlóság korlátozott, de pontos: mindegyik esetben a határ elhelyezkedése meghatározza, milyen messzire terjedhet egy hiba.

41. A határok költségeket is jelentenek, mivel az információknak, az anyagoknak és a döntéseknek át kell haladniuk rajtuk.

42. Egy tökéletesen lezárt modul magában tarthatja saját hibáját, miközben képtelenné válik az együttműködésre a rendszer többi részével.

43. Az interfészek részben megoldják ezt a problémát, ám minden interfész szabályokat, átalakításokat, késleltetéseket és lehetséges hibaforrásokat vezet be.

44. A laza kapcsolódás teret hagy a helyi kiigazításokra, míg a szoros kapcsolódás sebességet és hatékonyságot biztosít, ha a feltételek a tervezési keretek között maradnak.

45. Egyik sem tekinthető jobbnak a zavarok, a szükséges teljesítmény és az elfogadható ár pontos meghatározása nélkül.

46. A diverzitás az egyszerű duplikáció egy másik gyengeségét orvosolja, mivel két azonos tartalék valószínűleg nemcsak azokra a igényekre reagál hasonlóan, amelyek kielégítésére építették őket, hanem azokra a hibákra is, amelyeket a tervezők nem vettek észre.

47. A különböző elveken alapuló komponensek, különböző szakterületeken képzett csapatok vagy különböző érdekcsoportokra támaszkodó intézmények kevésbé lehetnek sebezhetőek egy közös hiba esetén.

48. Ugyanakkor nehezebb lehet őket koordinálni, összehasonlítani, karbantartani vagy megbízni bennük.

49. A lényeg nem az, hogy egyszerre maximalizáljuk a redundanciát, a modularitást vagy a sokféleséget, mivel ez egy nehézkes rendszert eredményezhet, amelynek biztonsági intézkedései akadályozzák a működését.

50. A lényeg az, hogy megkérdezzük: mely hibák lehetnek közösek, hogyan lehet őket felismerni, és hol lehet megakadályozni következményeiket.

51. Az élő rendszerek miatt csábító az összehasonlítás, mivel ők is fennmaradnak a sérült részek, a változó környezetek és a tökéletlen másolás ellenére.

52. Az evolúciónak azonban nincs olyan mérnöke, aki az organizmuson kívül állna egy követelménydokumentummal a kezében.

53. A biológiai robusztusság a populációkon ható variáció és szelekció örökölt eredménye, amelyet a már létező struktúrák és olyan környezetek korlátoznak, amelyek soha nem tapasztalták meg minden lehetséges jövőbeli fenyegetést.

54. A génpéldányok többlete és az egymást átfedő biokémiai útvonalak elfedhetik egyes káros mutációk hatását, lehetővé téve egy funkció folytatását, ha az egyik útvonal megsérül.

55. A biológusok megkülönböztetik a pontos redundanciát a degenerációtól, amelyben a szerkezetileg eltérő komponensek nem cserélhető ikrek módjára viselkednek, hanem részben átfedő funkciókat látnak el.

56. A részleges átfedés különösen hasznos lehet, mivel egy komponens stresszhelyzetben átveheti egy másik feladatát, miközben megőrzi azokat a képességeket, amelyekben nincs átfedés.

57. A további másolatok azonban replikációt és karbantartást igényelnek, és az átfedés elrejtheti a szelekció elől mind a káros, mind a potenciálisan hasznos mutációkat.

58. Egy duplikált gén végül elveszhet, biztosítékként megmaradhat, megoszthatja az ősi feladatot partnerével, vagy új funkciót szerezhet, így a redundancia szűkítheti vagy bővítheti a későbbi lehetőségeket.

59. Ezért az ismert zavarokkal szembeni ellenálló képesség nem azonos az evolúciós képességgel, azaz azzal a képességgel, hogy örökölhető, működőképes variációt hozzon létre, amikor a körülmények ismeretlenné válnak.

60. A különbség akkor válik a legélesebbé, amikor egy rendszernek nem azzal a kudarccal kell szembenéznie, amelyre felkészült, hanem olyan zavarral, amelyet tervezői vagy evolúciós múltja soha nem tapasztalt meg.

61. A múltbeli tapasztalatok alapján hangolt rendszer rendkívül robusztus lehet azon a területen belül, amelyet a tapasztalat feltérképezett, és váratlanul törékeny lehet annak határain túl.

62. A mérnökök elképzelhetik a kudarcok típusait, a biológusok rekonstruálhatják a régi szelekciós nyomásokat, az intézmények pedig emlékezhetnek a korábbi válságokra, de egyikük sem tudja felsorolni azokat a meglepetéseket, amelyek még nem történtek meg.

63. Az ésszerű megoldás nem az, hogy minden alkatrészt minden elképzelhető csapás ellen megerősítsünk – ez a vállalkozás korlátlan erőforrásokat emésztene fel, miközben új komplexitást és új kudarcok lehetőségeit teremtene.

64. Az ésszerű megoldás az, hogy megőrizzünk egy bizonyos képességet arra, hogy észrevegyük, értelmezzük és reagáljunk, amikor az eredeti feltételezések már nem állják meg a helyüket.

65. A visszacsatolás biztosítja e képesség első részét azzal, hogy a következményekre vonatkozó információkat visszajuttatja azokhoz a folyamatokhoz és személyekhez, amelyek befolyásolhatják a következő lépést.

66. Egy gépben egy érzékelő automatikus korrekciót indíthat el; egy szervezetben a megfelelő folyamat az emberi figyelem, az ösztönzők, a hatáskör és az érvelés útján zajlik.

67. Mindkét folyamatot visszacsatolásnak nevezni csak akkor hasznos, ha ezeket a különbségeket szem előtt tartjuk.

68. 1976 óta a NASA által működtetett Légiközlekedési Biztonsági Jelentési Rendszer (Aviation Safety Reporting System) bizalmas csatornát biztosít a pilóták, légiforgalmi irányítók, szerelők, légiutas-kísérők és más légiközlekedési dolgozók számára a veszélyek és események bejelentésére.

69. A NASA eltávolítja az azonosításra alkalmas részleteket, míg a Szövetségi Légiközlekedési Hivatal (Federal Aviation Administration) korlátozott védelmet nyújt a szándékolatlan szabálysértésekre vonatkozó, a feltételeknek megfelelő, időben benyújtott jelentések esetében a szankcióktól.

70. Ez a védelem megváltoztatja a beszéd költségét: egy hiba, amely egyébként rejtve maradhatna, bekerülhet a közös biztonsági információk körébe.

71. A kis híján bekövetkezett balesetek így bizonyítékká válnak, mielőtt ugyanaz a körülmények kombinációja balesetet okozna.

72. A rendszer nem ellenőrzi minden benyújtott beszámolót, a jelentések önkéntesek, és önmagukban nem tudják feltárni, hogy egy veszély milyen gyakran fordul elő az összes repülés során.

73. Ezért inkább kiegészíti a hivatalos vizsgálatokat és a statisztikai nyomon követést, mintsem helyettesítené azokat.

74. A rendszerből levonható mélyebb tanulság szervezeti jellegű, mivel egy rendszer nem tud tanulni olyan információkból, amelyeket saját ösztönzői szisztematikusan elnyomnak.

75. Minden nyilvánosságra hozott hiba megbüntetése úgy tűnhet, mintha szigorú szabványt érvényesítene, miközben a hallgatásra ösztönöz, éppen úgy, ahogyan egy egyetlen teljesítménymutató jutalmazása olyan magatartást ösztönözhet, amely a mutatót jó színben tünteti fel.

76. A jelentési csatorna csak akkor teremt hibatűrést, ha valaki felismeri a mintákat, közli azokat, és megváltoztatja a berendezéseket, a képzést vagy az eljárásokat.

77. A hatáskör nélküli visszajelzés a figyelmeztetések archívumává válik, míg a visszajelzés nélküli hatáskör magabiztosan cselekszik egy elavult világmodell keretein belül.

78. A különböző perspektívák itt nem szimbolikus bevonásként számítanak, hanem különböző helyeken elhelyezett érzékelőkként, amelyek vakfoltjai nem fedik egymást teljes mértékben.

79. Az első vonalbeli munkatársak olyan kényelmetlen interfészeket észlelhetnek, amelyekhez a felsővezetők soha nem nyúlnak, míg a vezetők olyan mintákat láthatnak, amelyek egyetlen helyi eseményen belül láthatatlanok.

80. A két nézőpont továbbra is ütközhet, és egyetlen szervezeti felépítés sem garantálja, hogy a pontosabbik fog érvényesülni.

81. A hatalom határozza meg, mely jelek jutnak el, kinek a hibái büntethetővé válnak, és mely költségek számítanak kudarc bizonyítékának.

82. Az alkotmányos rendek ugyanazzal az általános problémával szembesülnek olyan körülmények között, amelyek a mérnöki analógiát különösen veszélyessé teszik.

83. Egy meghibásodott szelepnek nincs jogos érdeke abban, hogy nyitva maradjon, míg a tisztségviselők, a pártok, a bíróságok, a régiók és az állampolgárok ésszerűen vitathatják, hogy egy politikai eredmény egyáltalán hiba-e.

84. Az alkotmányos hibatűrésnek ezért korlátoznia kell a hatalom koncentrációját, és meg kell őriznie a vitára, a korrekcióra és az utódlásra vonatkozó eljárásokat anélkül, hogy úgy tenné, mintha a politikának lenne külső diagnosztikai eszköze.

85. A német Alaptörvény 67. cikke erre egy tömör példát nyújt, amely csak akkor engedi meg a Bundestag számára a kancellár leváltását, ha a képviselők többségével megválasztják az utódját.

86. A konstruktív bizalmatlansági szavazást a Weimari Köztársasággal kapcsolatos instabilitás fényében tervezték meg, bár az alkotmányos szabályok önmagukban sem okozták a Weimari Köztársaság összeomlását, sem magyarázzák a Német Szövetségi Köztársaság későbbi stabilitását.

87. A rendelkezés nem akadályozza meg a politikai konfliktusokat; azt írja elő, hogy a negatív többségnek pozitív többséggé kell válnia, mielőtt a végrehajtó hatalom átadódna.

88. Funkcionális szempontból összekapcsolja a leváltást az utód kinevezésével, így a korrekció önmagában nem eredményez üresedést a kormány központjában.

89. Ez a biztosíték emeli a gyengült kancellár leváltásának küszöbét is, a reagálóképességet a folytonosságra cserélve.

90. A 79. cikk mind a Bundestagban, mind a Bundesratban kétharmados többséggel engedélyezi az alkotmánymódosításokat, de tiltja a tartományok felosztását, azok törvényhozásban való alapvető részvételét, illetve az 1. és 20. cikk elveit érintő módosításokat.

91. Ezek az akadályok védik a kötelezettségvállalásokat a múló többségektől, de egyúttal kijelentik, hogy az alkotmány bizonyos formájú megfordítása nem lehetséges rendes jogi változtatások útján.

92. A hibatűrés itt nem jelenthet korlátlan visszafordíthatóságot, mert az alkotmány bizonyos történelmi tanulságokat olyan korlátokként kezel, amelyeket a jövőbeli többségek nem szabad, hogy szabadon elvetessenek.

93. Ugyanakkor a választások, a törvényhozás, a szövetségi eltérések, a bírósági felülvizsgálat és a nyilvános vita különböző útvonalakat kínálnak, amelyeken keresztül a hibákat meg lehet kérdőjelezni vagy korlátozni.

94. Ezek nem ugyanazt a nyomást hordozó párhuzamos hidraulikus vezetékek; hatalmukat különböző eljárásokból merítik, és különböző időskálákon reagálnak.

95. Közöttük fellépő súrlódás késleltetheti a szükséges intézkedéseket, ugyanakkor egy súrlódásmentes alkotmány a hibák meghatározásának és kijavításának hatalmát ugyanazon kezekbe összpontosítaná.

96. A bírósági felülvizsgálat különösen világosan illusztrálja ezt a kettős mozgást: megállíthat egy alkotmányos normát sértő törvényt, de minden egyes ítélet hozzájárulhat ahhoz a jogtudományhoz is, amely iránymutatást ad és korlátokat szab a későbbi ítéletek számára.

97. A korrekció az út részévé válik.

98. Ez nem olyan hiba, amelyet egyszerűen ki lehet tervezni, mivel a következetesség lehetővé teszi a polgárok és az intézmények számára a tervezést, míg a felülvizsgálat lehetővé teszi, hogy a jog reagáljon olyan körülményekre és felismerésekre, amelyek a korábbi jogtudományban nem szerepeltek.

99. A visszavonható döntések egy másik lehetőséget kínálnak a tanulásra anélkül, hogy az első kísérlet során az egész rendszert kockára tennénk.

100. Egy kísérleti program, egy szakaszos technikai bevezetés vagy egy ütemezett felülvizsgálattal rendelkező szabály korlátozhatja a kockázatot, miközben a bizonyítékok gyűlnek.

101. Az alternatívák párhuzamos futtatása olyan különbségeket tárhat fel, amelyeket egy egyetlen, általános reform elrejtene, hasonlóan ahhoz, ahogyan a különböző alkatrészek feltárhatnak egy olyan hibát, amely az azonos alkatrészekben is megvan.

102. A társadalmi kísérletek azonban embereket vonnak be, nem pedig eldobható tesztdarabokat, és egy formálisan ideiglenes politika is megváltoztathatja a megélhetést, a beruházásokat, a várakozásokat és a jogokat.

103. A visszavonás ezért valódi veszteségeket okozhat akkor is, ha a döntést ideiglenesnek minősítették.

104. A hatályvesztési záradékok túl korán járhatnak le ahhoz, hogy a hatások láthatóvá váljanak, túl későn ahhoz, hogy megakadályozzák a függőség kialakulását, vagy egyáltalán nem járnak le, ha a szervezett kedvezményezettek biztosítják a meghosszabbítást.

105. A kis léptékű kísérletek is félrevezetőek lehetnek, ha a teljes körű rendszer olyan hálózati hatásokat, torlódásokat, politikai ellenállást vagy adminisztratív igényeket eredményez, amelyek a kísérletben nem jelentkeztek.

106. A visszafordíthatóság tehát mérték és időzítés kérdése, nem pedig egy kapcsoló, amely a történelmet a kiindulási pontjára állítja vissza.

107. A legfontosabb döntés talán az, hogy építsünk-e vissza egy hidat, mielőtt a forgalom, az ingatlanok, a szakértelem és az elvárások az új útvonal köré szerveződnek.

108. A híd fenntartása pénzbe kerül, és annyira lelassíthatja az elköteleződést, hogy elveszítjük azokat az előnyöket, amelyekhez méret, koordináció és bizalom szükséges.

109. A hatékonysági nyomás előre láthatóan az ilyen kihasználatlan kapacitásokat veszi célba, mert költségei már most láthatók, míg az általa esetleg elnyelt kudarcok továbbra is hipotetikusak maradnak.

110. Amint azonban a tartalék személyzet, a párhuzamos beszállítók, az alternatív szakértelem vagy a felülvizsgálati eljárások eltűnnek, a későbbi döntések szűkebb cselekvési teret örökölnek.

111. Ez a pályafüggő mechanizmus: a tegnapi megtakarítások eltüntetik a holnapi tartalékot, majd a közelmúltbeli kudarc hiányát bizonyítékként idézik arra, hogy a tartalék felesleges volt.

112. A védelem akár még fokozhatja is a sebezhetőséget, ha egy rendszer annyira sikeres lesz az ismerős zavarok ellen, hogy a tevékenység, a beruházások és a bizalom a pajzs mögött halmozódnak fel.

113. Az így kialakuló rendszer általánosságban nem gyenge; a történelme által kiválasztott dimenziók mentén robusztus, az elhanyagoltak mentén pedig törékeny.

114. A legutóbbi sokk elleni további védelem hozzáadása inkább megerősítheti ezt a profilt, mintsem felkészítse a rendszert egy másik sokkra.

115. Az evolúciós képesség nehezebb kérdést vet fel, mint a túlélés: képes-e a rendszer működőképes variációkat létrehozni anélkül, hogy tönkretenné azokat a funkciókat, amelyek lehetővé teszik a variációk tesztelését?

116. A modularitás, a redundancia, a sokszínűség, a visszacsatolás és a visszafordítható kötelezettségvállalások segíthetnek, de mindegyik csak egy adott méretarányban, bizonyos kudarcok ellen és bizonyos kedvezményezettek számára bizonyul hatékonynak.

117. Az egyik csoport számára biztosított redundáns szolgáltatásokat egy másik csoport által viselt költségcsökkentésekből lehet finanszírozni, az intézményi vétójogok védhetik a kisebbségeket vagy megerősíthetik a kiváltságokat, a moduláris felelősség pedig korlátozhatja a károkat, vagy szétszórhatja a felelősségre vonhatóságot.

118. Még a hibajavítás is megőrizhet egy káros rendet, ha a rendszer túl szűken határozza meg a kárt, vagy csak azoknak biztosít jogállást, akiket kategóriái már elismernek.

119. Következésképpen nincs kontextustól független recept az „optimum” rugalmassággal való felváltására, mert az a döntés, hogy mi kell folytatódnia, mi bukhat el, és ki dönthet, maga is a probléma része.

120. A megalapozottabb törekvés az, hogy elegendő független kapacitást, őszinte visszajelzést és elérhető alternatívákat tartsunk fenn ahhoz, hogy egy előre nem látható hiba ne mondhassa ki az utolsó szót.

1. Am Nachmittag des 19. Juli 1989 befand sich der United-Airlines-Flug 232 im Reiseflug über Iowa, als die Lüfterscheibe des am Heck montierten Triebwerks zerbrach.

2. Metallfragmente schossen mit solcher Wucht nach außen, dass sie die sie umgebenden Flugzeugteile durchschlugen.

3. Innerhalb weniger Augenblicke fielen der Druck und die Flüssigkeitsmenge in allen drei Hydrauliksystemen auf null.

4. Das Flugzeug verfügte gerade deshalb über drei Hydrauliksysteme, weil kein einzelner Hydraulikausfall eine DC-10 ihrer Flugsteuerung berauben sollte.

5. Doch die Fragmente durchtrennten Leitungen in zwei Systemen, während der Zerfall des Triebwerks die Ausrüstung des dritten Systems außer Betrieb setzte.

6. Die drei Reservesysteme waren auf ein Ereignis gestoßen, das groß genug war, um sie alle zu treffen.

7. Da die Steuerflächen nicht mehr reagierten, konnten die Piloten das Flugzeug nur noch durch die Veränderung des Schubs an den beiden verbleibenden Triebwerken beeinflussen, wobei sie ungleiche Schubwerte zum Drehen und kombinierte Schubänderungen zur Neigung nutzten.

8. Sie erreichten Sioux City, doch das Flugzeug zerbrach während des Landeversuchs; der offizielle Bericht stufte 111 der 296 Menschen an Bord als tödlich verletzt ein, während 185 den Absturz selbst überlebten.

9. Die Nationale Verkehrssicherheitsbehörde (National Transportation Safety Board) kam zu dem Schluss, dass eine erfolgreiche Landung auf der Landebahn nach dem Ausfall aller hydraulischen Flugsteuerungen praktisch unmöglich war, und bewertete die Leistung der Besatzung als weit über das hinausgehend, was man vernünftigerweise erwarten könne.

10. Der Unfall deckt einen Unterschied auf, der sich hinter dem beruhigenden Begriff „Backup“ verbirgt.

11. Fehlertoleranz ist nicht das Versprechen, dass nichts schiefgehen wird, sondern die Fähigkeit, eine entscheidende Funktion aufrechtzuerhalten, Schäden zu begrenzen, Probleme zu erkennen und sich zu erholen, wenn doch etwas schiefgeht.

12. Ein Fehler ist die Ursache, wie beispielsweise eine gerissene Festplatte oder eine fehlerhafte Anweisung, während ein Ausfall der Verlust einer Funktion ist, die das übergeordnete System benötigte.

13. Zwischen diesen beiden liegt die eigentliche Aufgabe der Konstruktion: zu verhindern, dass ein lokaler Defekt zu einem allgemeinen Zusammenbruch führt.

14. Eine zusätzliche Komponente hilft nur, wenn sie verfügbar bleibt, wenn die erste ausfällt.

15. Wenn beide Komponenten von derselben Stromversorgung abhängig sind, denselben anfälligen Raum einnehmen, auf derselben falschen Annahme beruhen oder dieselben fehlerhaften Daten erhalten, kann ihre zahlenmäßige Vielzahl eine funktionale Einheitlichkeit verschleiern.

16. Ingenieure bezeichnen dies als „Common-Cause-Fehler“, da ein einziges Ereignis mehrere Schutzmaßnahmen außer Kraft setzt, die bei getrennter Betrachtung unabhängig erschienen.

17. Die Hydrauliksysteme auf Flug 232 waren keine sinnlosen Redundanzen; sie schützten vor vielen Ausfällen, nur nicht vor dem zerstörerischen Muster, das an jenem Tag auftrat.

18. Diese Einschränkung ist wichtig, denn im Nachhinein kann jede unvollständige Schutzmaßnahme töricht und jede überlebende Schutzmaßnahme ausreichend erscheinen.

19. Die Richtlinien für die Zivilluftfahrt betrachten ausfallsicheres Design hingegen als eine Kombination von Maßnahmen, darunter Redundanz, physikalische oder funktionale Isolierung, Warnungen, Überprüfbarkeit, Verfahren, kontrollierte Ausfallpfade und Sicherheitsmargen für widrige Bedingungen, die im Voraus nicht vollständig spezifiziert wurden.

20. Kein einzelner Punkt auf dieser Liste kann die anderen ersetzen.

21. Eine Warnung ohne umsetzbare Reaktion kündigt lediglich das Scheitern an, eine Reserve ohne Isolierung teilt die ursprüngliche Gefahr, und eine Isolierung ohne Rückmeldung kann dazu führen, dass die Bediener nicht bemerken, dass ihre Sicherheitsreserve bereits aufgebraucht ist.

22. Fehlertoleranz ist daher ein Geflecht von Beziehungen, kein Lagerhaus für Ersatzteile.

23. Flug 232 zeigte auch, warum Menschen Teil dieses Geflechts sein müssen.

24. Ein Pilot, der gerade als Passagier mitflog und eine Schulungsprüfung absolvierte, betrat das Cockpit und half bei der Steuerung der Triebwerke, während die Flugbesatzung ein beispielloses Steuerungsproblem unter sich aufteilte.

25. Die Ermittler führten diese Zusammenarbeit auf ein Jahrzehnt langes Training im Crew Resource Management bei United zurück, das den Piloten beigebracht hatte, Informationen und Fähigkeiten auch außerhalb des Kapitänssitzes zu nutzen.

26. Die Ausbildung hatte kein Verfahren für einen vollständigen Hydraulikausfall vorgesehen, da Hersteller, Aufsichtsbehörden und die Fluggesellschaft dieses Ereignis als zu unwahrscheinlich erachtet hatten, um ein solches zu erfordern.

27. Sie hatte jedoch die Fähigkeit zur koordinierten Improvisation bewahrt, wenn der schriftlich festgelegte Zweig des Entscheidungsbaums endete.

28. Das ist eine echte Form der Resilienz, aber sie darf eine Katastrophe nicht in eine beruhigende Fabel über eine heldenhafte Rettung verwandeln.

29. Die Improvisation stellte die Flugsteuerung nicht wieder her, und selbst außergewöhnliches Können konnte den Tod von 111 Menschen nicht verhindern.

30. Ein fehlertolerantes System toleriert stets bestimmte Arten und Ausmaße von Fehlern, niemals Fehler im Abstrakten.

31. Diese Grenze trennt Fehlertoleranz vom Traum eines unverwundbaren Designs und sie trennt das Streben nach Zuverlässigkeit vom Streben nach einem einzigen Optimum.

32. Ein Flugzeug, ein Organismus, eine Verfassung oder eine Organisation kann unter erwarteten Bedingungen brillante Leistungen erbringen, indem sie ihre Ressourcen auf den effizientesten Weg konzentriert.

33. Dieselbe Konzentration kann eine ungewöhnliche Störung unverhältnismäßig zerstörerisch machen, da es keinen Ausweichweg, keinen geschützten Bereich und keine erprobte Methode gibt, die Reaktion anzupassen.

34. In Reserve gehaltene Kapazitäten wirken an normalen Tagen ineffizient, da sie Geld, Material, Aufmerksamkeit oder Energie verbrauchen, ohne den Routineleistungsumfang zu erhöhen.

35. Ihr Wert zeigt sich erst in den Zukunftsszenarien, in denen das System weiterbestehen kann.

36. Redundanz ist eine Möglichkeit, diesen Spielraum zu schaffen, indem mehr als eine Komponente bereitgehalten wird, die eine notwendige Funktion erfüllen kann.

37. Modularität schafft ihn auf andere Weise, indem ein System so unterteilt wird, dass Schäden oder Veränderungen in einem Teil sich nicht unbegrenzt auf andere Teile ausbreiten müssen.

38. Ein wasserdichtes Schott, ein austauschbarer Software-Dienst und eine föderale Aufteilung von Befugnissen werden alle als modular bezeichnet, doch der gemeinsame Begriff sollte ihre unterschiedlichen Mechanismen nicht ausblenden.

39. Stahl hält Wasser durch eine physische Barriere zurück, Software hält bestimmte Fehler durch definierte Schnittstellen zurück, und eine Verfassung verteilt gesetzliche Befugnisse auf Institutionen, die mit strategisch denkenden Menschen besetzt sind.

40. Die nützliche Ähnlichkeit ist begrenzt, aber exakt: In jedem Fall verändert die Platzierung einer Grenze, wie weit sich ein Fehler ausbreiten kann.

41. Grenzen verursachen zudem Kosten, da Informationen, Material und Entscheidungen sie überqueren müssen.

42. Ein perfekt abgedichtetes Modul kann zwar seinen eigenen Fehler eindämmen, ist dann aber nicht mehr in der Lage, mit dem Rest des Systems zusammenzuarbeiten.

43. Schnittstellen lösen einen Teil dieses Problems, doch jede Schnittstelle führt Regeln, Übersetzungen, Verzögerungen und mögliche Fehlerquellen mit sich.

44. Eine lose Kopplung kann Spielraum für lokale Anpassungen bewahren, während eine enge Kopplung Geschwindigkeit und Effizienz bieten kann, solange die Bedingungen innerhalb des Entwurfsrahmens bleiben.

45. Keine der beiden ist überlegen, ohne eine Spezifikation der Störung, der erforderlichen Leistung und des akzeptablen Preises.

46. Diversität behebt eine weitere Schwäche der einfachen Duplizierung, da zwei identische Backups wahrscheinlich nicht nur auf die Anforderung, für die sie geschaffen wurden, sondern auch auf den Fehler, den ihre Entwickler übersehen haben, gleichermaßen reagieren.

47. Komponenten, die auf unterschiedlichen Prinzipien basieren, Teams, die in unterschiedlichen Fachgebieten ausgebildet sind, oder Institutionen, die sich auf unterschiedliche Zielgruppen stützen, sind möglicherweise weniger anfällig für einen gemeinsamen Fehler.

48. Sie können jedoch auch schwieriger zu koordinieren, zu vergleichen, zu warten oder als vertrauenswürdig einzustufen sein.

49. Es geht nicht darum, Redundanz, Modularität oder Diversität gleichzeitig zu maximieren, da dies zu einem schwerfälligen System führen kann, dessen Sicherheitsvorkehrungen seine Arbeit beeinträchtigen.

50. Es geht vielmehr darum, zu fragen, welche Fehler gemeinsam auftreten können, wie sie erkannt werden können und wo ihre Folgen gestoppt werden können.

51. Lebende Systeme machen diesen Vergleich verlockend, da auch sie trotz beschädigter Teile, schwankender Umgebungen und unvollkommener Kopien fortbestehen.

52. Die Evolution verfügt jedoch über keinen Ingenieur, der mit einem Anforderungskatalog außerhalb des Organismus steht.

53. Biologische Robustheit ist ein vererbtes Ergebnis von Variation und Selektion, die auf Populationen wirken, eingeschränkt durch bereits bestehende Strukturen und durch Umgebungen, die niemals jede zukünftige Bedrohung berücksichtigt haben.

54. Zusätzliche Genkopien und sich überschneidende biochemische Stoffwechselwege können die Auswirkungen einiger schädlicher Mutationen überdecken, sodass eine Funktion weiterbestehen kann, wenn ein Weg beeinträchtigt ist.

55. Biologen unterscheiden zwischen exakter Redundanz und Degeneration, bei der strukturell unterschiedliche Komponenten teilweise überlappende Funktionen erfüllen, anstatt als austauschbare Zwillinge zu agieren.

56. Eine teilweise Überlappung kann besonders nützlich sein, da eine Komponente unter Stress die Aufgabe einer anderen übernehmen kann, während sie gleichzeitig Fähigkeiten beibehält, die nicht geteilt werden.

57. Doch zusätzliche Kopien erfordern Replikation und Aufrechterhaltung, und Überlappungen können sowohl schädliche als auch potenziell nützliche Mutationen vor der Selektion verbergen.

58. Ein dupliziertes Gen kann schließlich verloren gehen, als Absicherung erhalten bleiben, die ursprüngliche Aufgabe mit seinem Partner teilen oder eine neue Funktion erwerben, sodass Redundanz spätere Möglichkeiten entweder einschränken oder erweitern kann.

59. Deshalb ist Robustheit gegenüber einer bekannten Störung nicht dasselbe wie Evolvierbarkeit – die Fähigkeit, vererbbare, funktionsfähige Variation zu erzeugen, wenn die Bedingungen ungewohnt werden.

60. Der Unterschied wird am deutlichsten, wenn ein System nicht mit einem weiteren Fall des Versagens konfrontiert wird, für dessen Überwindung es geschaffen wurde, sondern mit einer Störung, die seine Konstrukteure oder seine evolutionäre Vergangenheit nie erlebt haben.

61. Ein durch vergangene Erfahrungen abgestimmtes System kann innerhalb des durch diese Erfahrungen abgegrenzten Bereichs bemerkenswert robust sein und unmittelbar jenseits dessen Grenzen unerwartet anfällig werden.

62. Ingenieure können sich Fehlerklassen vorstellen, Biologen können alte Selektionsdrücke rekonstruieren und Institutionen können sich an frühere Krisen erinnern, aber niemand kann die Überraschungen aufzählen, die noch nicht eingetreten sind.

63. Die vernünftige Antwort besteht nicht darin, jede Komponente gegen jeden denkbaren Schlag abzusichern – ein Unterfangen, das unbegrenzte Ressourcen verschlingen und gleichzeitig neue Komplexität sowie neue Möglichkeiten des Scheiterns hervorbringen würde.

64. Sie besteht vielmehr darin, eine gewisse Fähigkeit zu bewahren, zu bemerken, zu interpretieren und zu reagieren, wenn die ursprünglichen Annahmen nicht mehr zutreffen.

65. Feedback liefert den ersten Teil dieser Fähigkeit, indem es Informationen über Konsequenzen zurück zu den Prozessen und Personen leitet, die die nächste Maßnahme beeinflussen können.

66. In einer Maschine kann ein Sensor eine automatische Korrektur auslösen; in einer Organisation verläuft der entsprechende Weg über menschliche Aufmerksamkeit, Anreize, Befugnisse und Argumentation.

67. Beide Wege als „Feedback“ zu bezeichnen, ist nur dann sinnvoll, wenn diese Unterschiede im Blick bleiben.

68. Seit 1976 bietet das von der NASA verwaltete Meldesystem für Flugsicherheit (Aviation Safety Reporting System) Piloten, Fluglotsen, Mechanikern, Flugbegleitern und anderen Beschäftigten in der Luftfahrt einen vertraulichen Kanal zur Meldung von Gefahren und Vorfällen.

69. Die NASA entfernt identifizierende Angaben, während die Federal Aviation Administration (FAA) begrenzten Schutz vor Sanktionen für qualifizierte, rechtzeitige Meldungen unbeabsichtigter Verstöße bietet.

70. Dieser Schutz verändert die Kosten des Meldens: Ein Fehler, der andernfalls verborgen bliebe, kann in einen gemeinsamen Bestand an Sicherheitsinformationen einfließen.

71. Beinaheunfälle werden so zu Anhaltspunkten, bevor dieselbe Kombination von Umständen zu einem Unfall führt.

72. Das System überprüft nicht jeden eingereichten Bericht, die Meldungen erfolgen freiwillig und können für sich genommen nicht aufzeigen, wie häufig eine Gefahr bei allen Flügen auftritt.

73. Es ergänzt daher formelle Untersuchungen und statistische Überwachung, anstatt diese zu ersetzen.

74. Die tiefere Erkenntnis daraus ist organisatorischer Natur, denn ein System kann nicht aus Informationen lernen, die durch seine eigenen Anreize systematisch unterdrückt werden.

75. Die Bestrafung jedes offengelegten Fehlers mag zwar den Anschein erwecken, einen hohen Standard durchzusetzen, führt jedoch dazu, dass Schweigen belohnt wird – genauso wie die Belohnung einer einzelnen Leistungskennzahl dazu führen kann, dass Verhaltensweisen bevorzugt werden, die diese Kennzahl gut aussehen lassen.

76. Ein Meldeweg schafft nur dann Fehlertoleranz, wenn jemand Muster erkennen, diese kommunizieren und Ausrüstung, Schulungen oder Verfahren ändern kann.

77. Feedback ohne Entscheidungsbefugnis wird zu einem Archiv von Warnungen, während Entscheidungsbefugnis ohne Feedback selbstbewusst innerhalb eines veralteten Weltbildes agiert.

78. Vielfältige Perspektiven sind hier nicht als zeremonielle Einbeziehung wichtig, sondern als unterschiedlich platzierte Sensoren, deren blinde Flecken sich nicht vollständig überschneiden.

79. Mitarbeiter an vorderster Front erkennen möglicherweise umständliche Schnittstellen, mit denen Führungskräfte nie in Berührung kommen, während Führungskräfte Muster erkennen, die innerhalb eines einzelnen lokalen Ereignisses unsichtbar sind.

80. Die beiden Sichtweisen können dennoch im Widerspruch zueinander stehen, und keine Organisationsstruktur garantiert, dass sich die genauere durchsetzen wird.

81. Macht bestimmt, welche Signale weitergeleitet werden, wessen Fehler strafbar werden und welche Kosten als Beweis für ein Versagen gelten.

82. Verfassungsordnungen stehen vor demselben allgemeinen Problem unter Bedingungen, die die Analogie zur Technik besonders gefährlich machen.

83. Ein defektes Ventil hat kein legitimes Interesse daran, offen zu bleiben, während Amtsträger, Parteien, Gerichte, Regionen und Bürger vernünftigerweise darüber uneinig sein können, ob ein politisches Ergebnis überhaupt ein Fehler ist.

84. Verfassungsrechtliche Fehlertoleranz muss daher Machtkonzentrationen begrenzen und Verfahren für Anfechtung, Korrektur und Nachfolge bewahren, ohne so zu tun, als gäbe es für die Politik ein externes Diagnoseinstrument.

85. Das deutsche Grundgesetz bietet in Artikel 67 ein prägnantes Beispiel dafür: Er erlaubt es dem Bundestag, einen Bundeskanzler nur dann abzuberufen, wenn er mit der Mehrheit seiner Mitglieder einen Nachfolger wählt.

86. Das konstruktive Misstrauensvotum wurde vor dem Hintergrund der mit der Weimarer Republik verbundenen Instabilität konzipiert, obwohl verfassungsrechtliche Regeln allein weder den Zusammenbruch der Weimarer Republik verursacht haben noch die spätere Stabilität der Bundesrepublik erklären.

87. Die Bestimmung verhindert politische Konflikte nicht; sie verlangt, dass aus einer negativen Mehrheit eine positive Mehrheit wird, bevor die Exekutivgewalt den Besitzer wechselt.

88. Funktional gesehen verbindet sie die Absetzung mit der Nachfolge, sodass eine Korrektur nicht selbst eine Vakanz im Zentrum der Regierung schafft.

89. Diese Absicherung erhöht zudem die Hürde für die Absetzung eines geschwächten Bundeskanzlers und tauscht damit Reaktionsfähigkeit gegen Kontinuität ein.

90. Artikel 79 erlaubt Verfassungsänderungen mit Zweidrittelmehrheiten sowohl im Bundestag als auch im Bundesrat, verbietet jedoch Änderungen, die die Aufteilung in Länder, deren grundlegende Mitwirkung an der Gesetzgebung oder die Grundsätze der Artikel 1 und 20 betreffen.

91. Diese Hürden schützen verfassungsrechtliche Verpflichtungen vor flüchtigen Mehrheiten, erklären aber auch, dass bestimmte Formen der Verfassungsänderung nicht durch gewöhnliche Gesetzesänderungen möglich sind.

92. Fehlertoleranz kann hier keine unbegrenzte Umkehrbarkeit bedeuten, da die Verfassung bestimmte historische Lehren als Zwänge betrachtet, die künftige Mehrheiten nicht einfach beiseite schieben dürfen.

93. Gleichzeitig bieten Wahlen, Gesetzgebung, föderale Unterschiede, gerichtliche Überprüfung und öffentliche Debatte verschiedene Wege, über die Fehler angefochten oder eingedämmt werden können.

94. Sie sind keine doppelten Druckleitungen, die denselben Druck führen; sie beziehen ihre Autorität aus unterschiedlichen Verfahren und reagieren in unterschiedlichen Zeiträumen.

95. Ihre Reibung kann notwendige Maßnahmen verzögern, doch eine reibungslose Verfassung würde die Macht, Fehler zu definieren und zu korrigieren, in denselben Händen konzentrieren.

96. Die gerichtliche Überprüfung veranschaulicht diese doppelte Bewegung besonders deutlich: Sie kann ein Gesetz stoppen, das gegen einen verfassungsrechtlichen Maßstab verstößt, aber jedes Urteil kann auch zur Rechtslehre beitragen, die spätere Urteile leitet und einschränkt.

97. Eine Korrektur wird Teil des Weges.

98. Dies ist kein Mangel, der sich einfach wegkonzipieren lässt, da Konsistenz Bürgern und Institutionen die Planung ermöglicht, während Revision es dem Recht erlaubt, auf Bedingungen und Erkenntnisse zu reagieren, die frühere Rechtslehre nicht enthielt.

99. Reversible Entscheidungen bieten eine weitere Möglichkeit zu lernen, ohne das gesamte System beim ersten Versuch aufs Spiel zu setzen.

100. Ein Pilotprogramm, eine schrittweise technische Einführung oder eine Regelung mit einer geplanten Überprüfung können das Risiko begrenzen, während sich Erkenntnisse ansammeln.

101. Die parallele Umsetzung von Alternativen kann Unterschiede aufdecken, die eine einzige, universelle Reform verbergen würde – ähnlich wie unterschiedliche Komponenten einen Fehler offenbaren können, den identische Komponenten gemeinsam haben.

102. Doch bei sozialen Experimenten geht es um Menschen und nicht um wegwerfbare Testobjekte, und eine formal befristete Politik kann dennoch Lebensgrundlagen, Investitionen, Erwartungen und Rechte verändern.

103. Eine Rücknahme kann daher echte Verluste mit sich bringen, selbst wenn eine Entscheidung als vorläufig bezeichnet wurde.

104. Auslaufklauseln können zu früh auslaufen, als dass sich Auswirkungen zeigen könnten, zu spät, um Abhängigkeiten zu verhindern, oder gar nicht, wenn organisierte Begünstigte eine Verlängerung durchsetzen.

105. Kleine Versuche können zudem irreführend sein, wenn das System in vollem Umfang Netzwerkeffekte, Überlastung, politischen Widerstand oder administrative Anforderungen hervorruft, die im Versuch nicht vorhanden waren.

106. Umkehrbarkeit ist somit eine Frage des Ausmaßes und des Zeitpunkts, kein Schalter, der die Geschichte an ihren Ausgangspunkt zurückversetzt.

107. Die folgenreichste Entscheidung könnte sein, ob eine Rückbrücke gebaut wird, bevor sich Verkehr, Eigentum, Kompetenzen und Erwartungen um die neue Route herum neu ordnen.

108. Diese Brücke offen zu halten, kostet Geld und kann das Engagement so sehr verlangsamen, dass Vorteile verloren gehen, die Größe, Koordination und Vertrauen erfordern.

109. Der Effizienzdruck zielt vorhersehbar auf solche ungenutzten Kapazitäten ab, da deren Kosten bereits jetzt sichtbar sind, während das Versagen, das sie auffangen könnten, hypothetisch bleibt.

110. Sobald jedoch Reservepersonal, parallele Lieferanten, alternatives Fachwissen oder Überprüfungsverfahren verschwinden, haben spätere Entscheidungen nur noch einen engeren Handlungsspielraum.

111. Das ist der pfadabhängige Mechanismus: Die Einsparungen von gestern beseitigen den Rückfallplan von morgen, und das Ausbleiben eines jüngsten Ausfalls wird dann als Beweis dafür angeführt, dass der Rückfallplan unnötig war.

112. Schutz kann die Anfälligkeit sogar noch verstärken, wenn ein System gegenüber bekannten Störungen so erfolgreich wird, dass sich hinter diesem Schutzschild Aktivitäten, Investitionen und Vertrauen ansammeln.

113. Das daraus resultierende System ist nicht allgemein schwach; es ist entlang der durch seine Geschichte bestimmten Dimensionen robust und entlang der vernachlässigten Dimensionen fragil.

114. Ein zusätzlicher Schutz vor dem letzten Schock kann dieses Profil eher verstärken, anstatt das System auf einen anderen Schock vorzubereiten.

115. Die Entwicklungsfähigkeit wirft eine schwierigere Frage auf als das Überleben: Kann das System funktionsfähige Variationen hervorbringen, ohne die Funktionen zu zerstören, die es ermöglichen, diese Variationen zu testen?

116. Modularität, Redundanz, Vielfalt, Rückkopplung und reversible Verpflichtungen können helfen, doch jede davon ist nur auf einer bestimmten Ebene, gegen bestimmte Ausfälle und für bestimmte Nutznießer erfolgreich.

117. Redundante Leistungen für eine Gruppe können durch Einsparungen finanziert werden, die eine andere Gruppe trägt; institutionelle Vetorechte können Minderheiten schützen oder Privilegien zementieren; und modulare Verantwortung kann Schäden eindämmen oder die Rechenschaftspflicht verwässern.

118. Selbst Fehlerkorrektur kann eine schädliche Ordnung aufrechterhalten, wenn das System den Begriff „Schaden“ zu eng definiert oder nur denjenigen eine Stimme gewährt, die bereits durch seine Kategorien anerkannt sind.

119. Es gibt folglich kein kontextunabhängiges Rezept, um „Optimum“ durch „Resilienz“ zu ersetzen, da die Entscheidung darüber, was fortbestehen muss, was scheitern darf und wer entscheiden darf, Teil des Problems ist.

120. Das vertretbarere Ziel besteht darin, genügend unabhängige Kapazitäten, offenes Feedback und realisierbare Alternativen aufrechtzuerhalten, damit ein unvorhergesehener Fehler nicht das letzte Wort hat.