10.4 – Az ember a döntési ciklusban – Der Mensch in der Entscheidungsschleife

1. 2013. július 6-án az Asiana Airlines 214-es járata vizuális leszállásra közeledett a San Francisco-i nemzetközi repülőtérhez.

2. A műszeres leszállási rendszer csúszási pályájára vonatkozó jele nem volt elérhető.

3. A Boeing 777 pilótafülkéjében három pilóta tartózkodott, a repülőgépen pedig 291 utas utazott.

4. A személyzet láthatta a kifutópályát, de ez nem adta meg a választ arra, hogy a kiválasztott repülésvezérlési mód megváltoztatása után a repülőgép automatikája hogyan fogja kezelni a süllyedést és a sebességet.

5. Az a utasítás, hogy 180 csomót tartsanak fenn a kifutópályától öt tengeri mérföld távolságig, azt eredményezte, hogy a repülőgép e ponton a kívánt pálya felett maradt.

6. A személyzet megpróbálta meredekebbé tenni a süllyedést.

7. A repülést irányító pilóta olyan repülésvezérlő módot választott, amely segít a repülőgép leeresztésében, de a rendszer ehelyett emelkedést parancsolt, mivel a repülőgép a műszerfalon beállított magasság alatt volt.

8. Kikapcsolta az autopilótát, és a tolóerő-karokat alapjáratra állította.

9. Ez a művelet az automatikus fojtószelepet olyan üzemmódba állította, amelyben már nem szabályozta a repülési sebességet.

10. A pilótafülkében senki sem vette észre az üzemmódváltást.

11. A repülőgép tovább süllyedt, és sebessége csökkenni kezdett.

12. A repülőtér felett 500 láb magasságban sebessége elérte a tervezett megközelítési értéket, 137 csomót, ami önmagában megnyugtatónak tűnt, de elrejtette a repülőgép által elvesztett energiát.

13. Két másik szám azonban másról árulkodott.

14. A tolóerő-karok még mindig alapjáraton voltak, és a repülőgép percenként körülbelül 1 200 lábbal süllyedt, ahelyett, hogy a kívánt pályán maradáshoz szükséges nagyjából 700 lábbal süllyedt volna.

15. A légitársaság eljárásai szerint a megközelítést ennél a magasságnál már stabilizálni kellett volna.

16. Ez azonban nem történt meg.

17. A vizuális pályajelző ekkor azt mutatta, hogy a repülőgép egyre inkább a megfelelő süllyedési vonal alá kerül, miközben a repülési sebessége tovább csökkent, és a felemelkedésre alkalmas lehetőség egyre szűkült.

18. A személyzet körülbelül 200 láb magasságban vette észre az alacsony pályát és a kis sebességet.

19. 100 láb alatt kezdték meg az újrakörözést, miután a manőverhez rendelkezésre álló magasság már elfogyott.

20. A repülőgép nekicsapódott a hullámtörő falnak, és három utas életét vesztette.

21. A Nemzeti Közlekedésbiztonsági Tanács később a legénység által rosszul kezelt süllyedést, az automatikus sebességszabályozás nem szándékos elvesztését, a sebesség nem megfelelő figyelemmel kísérését és a késleltetett újrakörözést azonosította okként.

22. Emellett a rosszul elmagyarázott automatizálási módokat, a képzési hiányosságokat, a nem szabványos legénységi koordinációt, a nem megfelelő felügyeletet és a fáradtságot is azonosította közreható tényezőként.

23. Ez egy olyan baleset volt, amelynek több, egymással összefüggő oka volt.

24. A pilótáknak a megközelítés során végig joguk volt beavatkozni, ám a formális jogosultság nem tette könnyebbé a repülőgép változó állapotának felismerését, sem a fennmaradó idő rugalmas kezelését.

25. Ez a különbség a légi közlekedésen túl is jelentős.

26. Az embert lehet az utolsó biztonsági tényezőnek nevezni, miközben a rendszer kialakítása, az általa megjelenített információk és az események lefolyásának sebessége alig hagy annak a személynek gyakorlati esélyt arra, hogy ezt a szerepet betöltse.

27. Ha ezt a felállást „human in the loop”-nak nevezzük, az csak azt jelzi, hol jelenik meg az ember a szervezeti ábrán.

28. Nem árulja el, hogy mit képes az illető észlelni, megérteni vagy megváltoztatni.

29. Ahhoz, hogy egy beavatkozás hatékony legyen, a jelnek akkor kell megérkeznie, amikor még lehetséges a cselekvés.

30. Az illetőnek azt is tudnia kell, hogy a jel mit jelent a jelenlegi üzemmódban, meg kell értenie a helyzet alakulását, és rendelkeznie kell egy begyakorolt reakcióval, amellyel még mindig megváltoztathatja a kimenetelt.

31. Ezek a követelmények láncot alkotnak, és a leggyengébb láncszem csak akkor tűnhet fel, amikor a rendszer váratlanul viselkedik.

32. A 214-es járat egyszerre több láncszemet is feltárt.

33. A pilótafülkében megjelentek a sebességre és a repülésirányítási üzemmódokra vonatkozó információk, de a személyzet nem integrálta ezeket a jelzéseket egy időben meghozott döntésbe, hogy leállítsák a leszállást.

34. Az 500 láb magasságú pont különösen sokat elárult, mert az aktuális sebesség elfogadhatónak tűnt, míg az alapjáraton lévő tolóerő és a túlzott süllyedési sebesség arra utalt, mi fog történni, ha a személyzet folytatja a megközelítést.

35. A figyelemmel kísérés azt jelenti, hogy észleljük a pályát, nem csupán egy pillanatfelvételt olvasunk le.

36. A későbbi vizsgálat a feljegyzések és a tanúvallomások alapján rekonstruálhatja ezt a pályát, megállva a jelzéseknél és összehasonlítva azokat az eljárásokkal oly módon, ahogyan a személyzetnek a megközelítés során nem volt lehetősége.

37. Eredményeit ezért nem szabad úgy értelmezni, mintha a kimenetel akkoriban mindenki számára nyilvánvaló lett volna.

38. Nem is volt szó mesterséges intelligencia rendszerről vagy pilóta nélküli repülőgépről.

39. Ez az eset azért hasznos, mert a bevált automatizálás világos példát szolgáltatott a kijelölt felelősség és a ténylegesen gyakorolható irányítás közötti szakadékra.

40. Egy automatizált rendszer csökkentheti a rutinmunkát, ugyanakkor megnehezítheti a szokatlan viselkedés diagnosztizálását.

41. Mica Endsley és Esin Kiris egy 1995-ös kísérletben vizsgálták ezt a problémát egy automatizált navigációs feladat segítségével.

42. A résztvevők különböző szintű automatizált vezérléssel dolgoztak, majd olyan meghibásodással szembesültek, amely kézi döntéseket tett szükségessé.

43. Az automatizált segédrendszer meghibásodása után a helyzet iránti figyelem csökkenése lassabb döntéshozatallal járt együtt, és a kezelő irányítási mértéke befolyásolta ezt a figyelemvesztést, amelyet a kutatók az aktív információfeldolgozásról a passzívra való átállással hoztak összefüggésbe.

44. A kutatók felhívták a figyelmet arra a nehézségre, hogy a „körből kiesett” kezelőket hogyan lehet újra bevonni a folyamatba.

45. Szimulált feladatuk nem állapította meg, mi okozta a San Franciscó-i balesetet.

46. Azonban megmutatta, miért nem garantálja a szokásos üzemeltetés során megszerzett kompetencia a gyors kézi döntéshozatalt, ha az automatizált segédrendszer figyelmeztetés nélkül meghibásodik.

47. A gép kezelheti a gyakori eseteket, míg az ember a ritka eseteket kapja.

48. Ez a felosztás megnehezítheti az emberi munkát, mivel a szokatlan esetek gyakran kétértelmű jelekkel járnak és kevesebb idő áll rendelkezésre a diagnózis felállítására, noha a rutinműveletek kevesebb gyakorlási lehetőséget nyújtanak.

49. A normál napokon végzett gyakorlás eltérhet attól a készségtől, amelyre rendkívüli helyzetekben szükség van.

50. A kérdés nem az, hogy az automatizálásnak mindig foglalkoztatnia kell-e az embereket.

51. Hanem az, hogy az a személy, akitől a beavatkozást várják, megőrizte-e a rendszerről alkotott működőképes képet és a begyakorolt cselekvési módot.

52. 2022-ben a Szövetségi Légiközlekedési Hatóság (FAA) úgy fogalmazta meg a repülési útvonal-kezelést, hogy az magában foglalja a kézi repülést, az automatizálás kezelését, a felügyeletet és az energiagazdálkodást együttesen.

53. Ez a későbbi iránymutatás nem volt olyan szabály, amely már a 2013-as megközelítést is szabályozta volna.

54. Ez egy gyakorlati problémára adott intézményi választ szemlélteti: az operátor kézi repülésre való kiképzése és arra való kiképzése, hogy észrevegye, mikor van szükség kézi repülésre, ugyanazon terv részét képezik.

55. Az ember bevonásának fenntartása többféle formát ölthet, és ezek elnevezései nagyon különböző követelményeket rejthetnek magukban.

56. Egy szakértő, aki rendszeresen ellenőrzi egy modell ajánlásait, összehasonlíthatja a bizonyítékokat egy független nyilvántartással, észreveheti az esetek közötti mintákat, és kijavíthatja a hibákat, mielőtt a döntések hatályba lépnének.

57. Egy készenléti operátor, akit arra kérnek, hogy egy hirtelen meghibásodás után mentse meg az automatizált folyamatot, szűkös átadási idővel szembesül.

58. Az, aki aláír egy elkészült ajánlást, harmadik feladatot is ellát, anélkül, hogy valódi felülvizsgálatot végezne, ha hiányoznak a bizonyítékok és az idő, vagy ha az eltérő vélemény nem változtathatja meg a döntést.

59. Ezek különböző feladatok.

60. Különböző információkat, jogosultságokat, személyzeti erőforrásokat és gyakorlást igényelnek, még akkor is, ha minden munkafolyamat egy emberi névvel zárul a nyilvántartásban.

61. A hirtelen átadás különösen könnyen félreérthető.

62. Lehet, hogy a műszerfal figyelmeztetést jelenít meg, de az operátornak így is át kell irányítania a figyelmét, azonosítania kell a hibát, elegendő kontextust kell összegyűjtenie a megfelelő válasz kiválasztásához, és azt végre kell hajtania a kibontakozó esemény által szabott határidő előtt.

63. A riasztások kialakítása lerövidítheti ezt a folyamatot, de nem tudja kiküszöbölni azt az időt, amely a helyzetről való hasznos megértés újbóli kialakításához szükséges.

64. Az időtartamot az eseményhez viszonyítva kell mérni, nem pedig egy személy elméleti reakciósebességéhez.

65. Egy 500 láb magasságú leszállás és egy felülvizsgálatra váró aktakészlet radikálisan eltérő lehetőségeket kínál.

66. Egy lassabb folyamatban a felülvizsgáló szünetet tarthat, hiányzó dokumentumokat kereshet, és összehasonlíthatja az ajánlást független bizonyítékokkal.

67. Ez a lehetőség jelentőssé teheti az emberi felügyeletet.

68. Ugyanakkor ez a lehetőség eltűnhet, ha a felülvizsgáló olyan nagy ügyhalmazt kap, amelyet nem tud átvizsgálni, nincs elég személyzete az ellenkező bizonyítékok felkutatásához, és elsősorban az ügyek feldolgozásáért kap jutalmat.

69. Az aláírás ilyenkor inkább a munkafolyamaton való áthaladást rögzíti, mintsem egy átgondolt döntést.

70. A különbség ellenőrzésének egyik módja az, hogy megkérdezzük: mi történik, ha az ellenőr nem ért egyet.

71. Elutasíthatja-e az illető az ajánlást, módosíthatja-e, további információt kérhet-e, vagy leállíthatja-e a folyamatot anélkül, hogy rejtett szankciót kapna a termelés lassítása miatt?

72. Ha a válasz nem, akkor a látszólagos végső döntés nagyrészt a rendszeré és annak a szervezeté, amely oda helyezte.

73. A döntéshozatali jogkörnek tartalmaznia kell egy megvalósítható alternatívát is.

74. Az emberi felügyeletnek nem feltétlenül kell állandó figyelést jelentenie – egy olyan tevékenységet, amely során a figyelem hosszú, eseménytelen időszakok alatt meggyengülhet, miközben a megfigyelőnek alig van oka arra számítani, hogy a következő eset más lesz.

75. Egy rendszer ehelyett a meghatározott döntéseket szakértőre bízhatja, az eseteket megfelelő időtartammal előre bemutathatja, és a bizonytalan vagy kivételes eredményeket szándékos felülvizsgálatra terjesztheti elő.

76. Ez a megoldás még mindig megköveteli, hogy megbízható módon felismerjék, mely esetek érdemelnek figyelmet.

77. Ha az automatizált szűrő éppen azt a kivételt hagyja ki, amelyet jelznie kellene, akkor semmilyen felülvizsgálati sor nem orvosolhatja ezt a mulasztást.

78. A felügyelet feltételeit ezért azon a ponton kell tesztelni, ahol az ember átveszi az esetet, és nem csupán azon a ponton, ahol a szoftver megadja a választ.

79. A járműátadásokkal kapcsolatos kutatások rávilágítanak arra, miért érdemel a megfelelő időzítés külön bizonyítást.

80. Frederik Naujoks és munkatársai 34 résztvevőt vizsgáltak egy olyan járművel, amely feltételes automatizálást szimulált a német autópályákon.

81. Több percnyi automatizált vezetés után a résztvevők felkérést kaptak, hogy nem kritikus forgalmi helyzetekben vegyék át az irányítást.

82. A vizsgálat során biztonságosan kezelték ezeket az átmeneteket.

83. A vezetésre való felkészülés hosszabb ideig tartott, amikor egy másodlagos feladat elvonta a figyelmüket az útról vagy lefoglalta a kezüket, és a sávpozíció közvetlenül az átvétel után nagyobb mértékben ingadozott.

84. Ez hasznos ellenpélda arra az állításra, miszerint az irányítás átvétele eleve lehetetlen.

85. Ez egyben meghatározza annak a megnyugvásnak a határait is.

86. Egy figyelmeztetett vezetőnek nem kritikus átmenet során más a feladata, mint egy olyan kezelőnek, akitől elvárják, hogy másodpercek alatt azonosítson és kijavítson egy be nem jelentett meghibásodást, miközben a környező rendszer tovább mozog.

87. A rendelkezésre álló idő, a megszakított munka és a rendszer állapota mind hozzájárulnak az eredményhez.

88. Egy mérnök nem viheti át sikeresen az átadást egyik környezetből a másikba úgy, hogy csupán a „ember” szót tartja meg.

89. Még egy azonnali figyelmeztetés is elégtelen lehet, ha a személy nem látja, miért jelent meg, mit tett már az automatizált rendszer, vagy milyen intézkedés biztosítja a rendszer biztonságát.

90. Ezzel szemben egy rövid felkészülési idő is elegendő lehet, ha a feladat ismerős, a figyelmeztetés egyértelmű, és az átmenetet már begyakorolták.

91. A tervezési kérdés empirikus jellegű.

92. Melyik pillanatban ismeri fel a személy, hogy beavatkozásra van szükség, mennyi időbe telik a megértés, és mennyi idő marad a biztonságos manőver végrehajtására?

93. Ezeket az időtartamokat együtt kell vizsgálni, figyelembe véve a tényleges használat során várható figyelemeltereléseket és munkaterhelést.

94. A rendelkezésre álló adatok éppoly fontosak, mint a rendelkezésre álló másodpercek.

95. Egy klinikusnak, akit felkérnek egy javasolt kezelés ellenőrzésére, szüksége van a beteg releváns mérési adataira, a rendszer javaslatának egyértelmű ismertetésére, valamint elegendő időre ahhoz, hogy összehasonlítsa a javaslatot a beteg helyzetével.

96. A pilótának tudnia kell, melyik repülésvezérlési mód aktív, és mit csinál valójában a repülőgép.

97. Az ajánlást felülvizsgáló esetkezelőnek nem csupán a pontszámra, hanem az alapul szolgáló esetanyagra is hozzá kell férnie.

98. A példák sürgősségükben eltérnek, de minden felülvizsgálónak képesnek kell lennie arra, hogy az eredményt a rendszeren kívüli bizonyítékokkal összehasonlítsa.

99. Ellenkező esetben az illető ítélőképessége arra korlátozódik, hogy a rendszert a rendszer saját jelentése alapján értékelje.

100. A feladat megértése a következő feltétel.

101. Egy operátor nem tud megbízhatóan beavatkozni, ha a gép működése és az emberi felelősség közötti határ a változás pillanatában egyértelmű jelzés nélkül változik, különösen akkor, ha a gép képes saját kimenetét végrehajtani.

102. Ide tartozik annak ismerete is, hogy egy automatizált ajánlás jóváhagyásra vár-e, már alkalmazták-e, vagy cselekvést fog-e kiváltani, hacsak valaki meg nem állítja.

103. Ezek az állapotok a képernyőn hasonlóan nézhetnek ki, miközben nagyon eltérő lehetőségeket kínálnak a hiba kijavítására.

104. A kapacitás teszi teljessé a képet.

105. Egy képzett személy képes lehet néhány nehéz esetet alaposan megvizsgálni, míg ugyanaz a személy nem tud érdemben áttekinteni egy gépsebességgel érkező végtelen áramlatot.

106. A létszám és a képzés ezért a felügyeleti rendszer tulajdonságai, nem csupán a rendszeren kívüli adminisztratív részletek.

107. A képzésnek ki kell terjednie a szokásos működésre, de a ritka eltéréseket szándékos gyakorlással kell elsajátítani, pontosan azért, mert a rutinmunka kevés gyakorlási lehetőséget nyújt, és egy személy egyébként nyomás alatt találkozhatna először a kivételes esettel.

108. A leállító gomb önmagában sem elegendő.

109. A leállított rendszernek olyan állapotba kell kerülnie, amely biztonságos az érintett személyek számára, és valakinek rendelkeznie kell mind a felhatalmazással, mind a gyakorlati eszközökkel ahhoz, hogy ezt az utat válassza.

110. Az Európai Unió mesterséges intelligencia törvénye (AI Act) a hatálya alá tartozó, magas kockázatú rendszerek esetében egy ehhez kapcsolódó megkülönböztetést tesz azzal, hogy olyan emberi felügyeleti intézkedéseket ír elő, amelyek támogatják a kimenet értelmezését, használatának elmaradását vagy felülírását, valamint a biztonságos leállítást.

111. Az, hogy ezek a jogi kötelezettségek vonatkoznak-e egy adott rendszerre, külön kérdés, de a tervezési logika egyértelmű: a felügyelethez használható lehetőségekre van szükség, nem csupán egy a közelben tartózkodó személyre.

112. Ezeket a lehetőségeket a bevezetés előtt ki kell próbálni olyan körülmények között, amelyek hasonlítanak a tényleges munkaterheléshez, beleértve a hibás kimeneteket, a hiányzó adatokat és a sürgős átmeneteket is.

113. Egy olyan próba, amely feltételezi, hogy a figyelmes kezelőnek korlátlan ideje van, elkerülné a központi nehézséget.

114. A tesztnek azt kell vizsgálnia, hogy egy képzett személy észleli-e a releváns jelet, megérti-e annak következményét, kiválaszt-e egy megengedett és fizikailag lehetséges választ, és elvégzi-e a korrekciót, amíg az még számít.

115. Ez szigorúbb követelmény, mint egy emberi név megtalálása egy jóváhagyási űrlapon.

116. Ez ellenáll annak az ellenkező irányú leegyszerűsítésnek is, miszerint a gépek soha nem végezhetnek következményekkel járó feladatokat.

117. Az automatizálás következetesebbé teheti a folyamatot, míg a gondosan megtervezett beavatkozás lehetőséget ad az embereknek arra, hogy felismerjék azokat a korlátokat, amelyeket az automatizált folyamat önmagában nem képes felismerni.

118. San Franciscóban a pilótafülkében voltak pilóták, műszerek és egy eljárás az instabil megközelítés megszakítására.

119. A döntő kérdés az volt, hogy ezeket az elemeket össze lehet-e hangolni a hullámtörő fal előtt, amíg a repülőgépnek még van helye emelkedni.

1. Am 6. Juli 2013 näherte sich der Flug 214 der Asiana Airlines dem San Francisco International Airport für eine Sichtlandung.

2. Das Gleitpfadsignal des Instrumentenlandesystems für die Landebahn war nicht verfügbar.

3. Im Cockpit der Boeing 777 befanden sich drei Piloten, und das Flugzeug beförderte 291 Passagiere.

4. Die Besatzung konnte die Landebahn sehen, doch diese Sicht klärte nicht, wie die Flugzeugautomatik den Sinkflug und die Geschwindigkeit nach einer Änderung des gewählten Flugsteuerungsmodus regeln würde.

5. Eine Anweisung, 180 Knoten bis fünf Seemeilen vor der Landebahn beizubehalten, führte dazu, dass sich das Flugzeug an dieser Stelle oberhalb der gewünschten Flugbahn befand.

6. Die Besatzung versuchte, den Sinkflug steiler zu gestalten.

7. Der verantwortliche Pilot wählte einen Flugsteuerungsmodus aus, um das Flugzeug abzusenken, doch dieser gab stattdessen einen Steigbefehl, da sich das Flugzeug unterhalb der am Bedienfeld eingestellten Höhe befand.

8. Er schaltete den Autopiloten aus und stellte die Schubhebel auf Leerlauf.

9. Durch diese Maßnahme wechselte die Schubautomatik in einen Modus, in dem sie die Fluggeschwindigkeit nicht mehr regelte.

10. Niemand im Cockpit bemerkte den Moduswechsel.

11. Das Flugzeug sank weiter ab, und seine Geschwindigkeit begann zu sinken.

12. In einer Höhe von 500 Fuß über dem Flughafen hatte seine Geschwindigkeit den für den Anflug geplanten Wert von 137 Knoten erreicht – eine Zahl, die für sich genommen beruhigend wirkte, jedoch den Energieverlust des Flugzeugs verschleierte.

13. Zwei weitere Zahlen erzählten eine andere Geschichte.

14. Die Schubhebel standen immer noch auf Leerlauf, und das Flugzeug sank mit etwa 1.200 Fuß pro Minute, statt mit den rund 700, die erforderlich gewesen wären, um auf dem gewünschten Kurs zu bleiben.

15. Gemäß den Verfahren der Fluggesellschaft hätte der Anflug bei dieser Höhe bereits stabilisiert sein müssen.

16. Das war nicht der Fall.

17. Der visuelle Anflugweganzeiger zeigte daraufhin an, dass sich das Flugzeug zunehmend unterhalb der korrekten Sinkfluglinie bewegte, während seine Fluggeschwindigkeit weiter abnahm und die Möglichkeit zum Steigflug immer geringer wurde.

18. Die Besatzung erkannte den zu tiefen Anflugweg und die zu geringe Geschwindigkeit bei etwa 200 Fuß.

19. Sie leiteten einen Durchstartmanöver unterhalb von 100 Fuß ein, nachdem die für dieses Manöver verfügbare Höhe bereits aufgebraucht war.

20. Das Flugzeug prallte gegen die Ufermauer, und drei Passagiere kamen ums Leben.

21. Die Nationale Verkehrssicherheitsbehörde (National Transportation Safety Board) identifizierte später den falsch geführten Sinkflug der Besatzung, den unbeabsichtigten Verlust der automatischen Geschwindigkeitsregelung, eine unzureichende Geschwindigkeitsüberwachung und den verspäteten Durchstart als Ursachen.

22. Als mitwirkende Faktoren wurden zudem unzureichend erklärte Automatisierungsmodi, Ausbildungslücken, eine nicht standardmäßige Koordination der Besatzung, unzureichende Aufsicht und Ermüdung identifiziert.

23. Es handelte sich um einen Unfall mit mehreren miteinander verbundenen Ursachen.

24. Die Piloten hatten während des gesamten Anflugs die Befugnis, einzugreifen, doch diese formale Befugnis machte es nicht einfacher, den sich verändernden Zustand des Flugzeugs zu erkennen, und verlieh der verbleibenden Zeit keine Flexibilität.

25. Dieser Unterschied ist nicht nur in der Luftfahrt von Bedeutung.

26. Ein Mensch kann als letzte Sicherheitsinstanz bezeichnet werden, während die Auslegung eines Systems, die von ihm angezeigten Informationen und die Geschwindigkeit, mit der sich Ereignisse entwickeln, dieser Person kaum eine praktische Chance lassen, diese Rolle auszuüben.

27. Diese Konstellation als „Human in the Loop“ zu bezeichnen, sagt lediglich aus, wo eine Person im Organigramm steht.

28. Es sagt nichts darüber aus, was diese Person wahrnehmen, verstehen oder verändern kann.

29. Damit ein Eingriff funktioniert, muss ein Signal eintreffen, solange noch Handlungsmöglichkeiten bestehen.

30. Die Person muss zudem wissen, was das Signal im aktuellen Betriebsmodus bedeutet, verstehen, wie sich die Situation entwickelt, und über eine einstudierte Reaktion verfügen, mit der sich das Ergebnis noch beeinflussen lässt.

31. Diese Anforderungen bilden eine Kette, und das schwächste Glied tritt möglicherweise erst zutage, wenn sich das System unerwartet verhält.

32. Flug 214 deckte gleich mehrere Schwachstellen auf.

33. Im Cockpit wurden Informationen über Geschwindigkeit und Flugsteuerungsmodi angezeigt, doch die Besatzung integrierte diese Anzeigen nicht in eine rechtzeitige Entscheidung, die Landung abzubrechen.

34. Der 500-Fuß-Punkt war besonders aufschlussreich, da die aktuelle Geschwindigkeit akzeptabel erschien, während Leerlaufschub und eine übermäßige Sinkgeschwindigkeit darauf hindeuteten, was als Nächstes passieren würde, sollte die Besatzung den Anflug fortsetzen.

35. Überwachen bedeutet, eine Flugbahn zu erkennen, und nicht nur eine Momentaufnahme abzulesen.

36. Die spätere Untersuchung kann diese Flugbahn anhand von Aufzeichnungen und Zeugenaussagen rekonstruieren, dabei die Anzeigen genauer betrachten und sie mit den Verfahren vergleichen – auf eine Weise, die der Besatzung während des Anflugs nicht möglich war.

37. Ihre Ergebnisse sollten daher nicht mit der Behauptung verwechselt werden, dass der Ausgang des Geschehens zu diesem Zeitpunkt für alle offensichtlich gewesen sei.

38. Es handelte sich auch nicht um ein System künstlicher Intelligenz oder ein Flugzeug, das ohne Piloten flog.

39. Dies ist hier von Bedeutung, da die etablierte Automatisierung ein deutliches Beispiel für die Kluft zwischen zugewiesener Verantwortung und nutzbarer Kontrolle lieferte.

40. Ein automatisiertes System kann Routinearbeiten reduzieren und es dennoch erschweren, sein ungewöhnliches Verhalten zu diagnostizieren.

41. Mica Endsley und Esin Kiris untersuchten dieses Problem 1995 in einem Experiment anhand einer automatisierten Navigationsaufgabe.

42. Die Teilnehmer arbeiteten mit unterschiedlichen Stufen automatisierter Steuerung und wurden dann mit einer Störung konfrontiert, die manuelle Entscheidungen erforderte.

43. Ein vermindertes Situationsbewusstsein ging mit langsameren Entscheidungen einher, nachdem die automatisierte Unterstützung ausgefallen war, und der Grad der Kontrolle durch den Bediener beeinflusste diesen Verlust, den die Forscher mit einem Wechsel von aktiver zu passiver Informationsverarbeitung in Verbindung brachten.

44. Die Forscher wiesen auf die Schwierigkeit hin, Bediener, die „aus dem Kreislauf“ geraten waren, wieder in diesen einzubinden.

45. Ihre simulierte Aufgabe lieferte keine Erkenntnisse darüber, was den Unfall in San Francisco verursacht hatte.

46. Sie zeigte jedoch, warum im normalen Betrieb erworbene Kompetenz keine Garantie für eine schnelle manuelle Entscheidung ist, wenn eine automatisierte Hilfsfunktion ohne Vorwarnung ausfällt.

47. Die Maschine kann die häufigen Fälle bearbeiten, während der Mensch die seltenen Fälle übernimmt.

48. Diese Aufteilung kann die Arbeit des Menschen anspruchsvoller machen, da ungewöhnliche Fälle oft mit unklaren Anhaltspunkten und weniger Zeit für die Diagnose einhergehen, obwohl der Routinebetrieb weniger Gelegenheiten zum Üben bietet.

49. Das Training an normalen Tagen kann zudem von genau den Fähigkeiten abweichen, die an außergewöhnlichen Tagen gefordert sind.

50. Die Frage ist nicht, ob die Automatisierung Menschen immer beschäftigen sollte.

51. Es geht vielmehr darum, ob die Person, von der erwartet wird, dass sie das Ruder übernimmt, sich ein brauchbares Bild vom System und eine einstudierte Vorgehensweise bewahrt hat.

52. Im Jahr 2022 definierte die Federal Aviation Administration das Flugbahnmanagement als eine Kombination aus manuellem Fliegen, Automatisierungsmanagement, Überwachung und Energiemanagement.

53. Diese spätere Leitlinie war keine Vorschrift, die bereits für den Anflug von 2013 galt.

54. Sie veranschaulicht eine institutionelle Antwort auf ein praktisches Problem: Die Schulung eines Piloten im manuellen Fliegen und die Schulung, zu erkennen, wann manuelles Fliegen erforderlich ist, gehören zum selben Konzept.

55. Die Einbindung einer Person kann verschiedene Formen annehmen, und hinter den Bezeichnungen können sich sehr unterschiedliche Anforderungen verbergen.

56. Ein Spezialist, der regelmäßig die Empfehlungen eines Modells überprüft, kann die Nachweise mit einer unabhängigen Aufzeichnung abgleichen, Muster über verschiedene Fälle hinweg erkennen und Fehler korrigieren, bevor Entscheidungen in Kraft treten.

57. Ein Bereitschaftsbediener, der nach einem plötzlichen Ausfall einen automatisierten Prozess retten soll, steht vor einer unter Zeitdruck stehenden Übergabe.

58. Jemand, der eine fertige Empfehlung unterzeichnet, führt möglicherweise eine dritte Aufgabe aus, ohne eine echte Überprüfung vorzunehmen, wenn Belege und Zeit fehlen oder wenn Uneinigkeit die Entscheidung nicht ändern kann.

59. Dies sind unterschiedliche Aufgaben.

60. Sie erfordern unterschiedliche Informationen, Befugnisse, Personalausstattung und Vorbereitung, auch wenn jeder Arbeitsablauf mit einem menschlichen Namen in der Aufzeichnung endet.

61. Die plötzliche Übergabe ist besonders leicht misszuverstehen.

62. Ein Dashboard mag zwar eine Warnung anzeigen, doch der Bediener muss dennoch seine Aufmerksamkeit umlenken, den Fehler identifizieren, genügend Kontext erfassen, um eine Reaktion auszuwählen, und diese ausführen, bevor eine durch das sich entwickelnde Ereignis festgelegte Frist abläuft.

63. Die Gestaltung von Warnmeldungen kann diese Abfolge verkürzen, aber sie kann nicht die Zeit einsparen, die erforderlich ist, um sich ein sinnvolles Verständnis der Situation zu verschaffen.

64. Das Zeitintervall muss am Ereignis gemessen werden, nicht an der theoretischen Reaktionsgeschwindigkeit einer Person.

65. Ein Anflug in 500 Fuß Höhe und eine zur Überprüfung anstehende Akte bieten völlig unterschiedliche Möglichkeiten.

66. In einem langsameren Prozess kann ein Prüfer innehalten, nach fehlenden Unterlagen suchen und eine Empfehlung mit unabhängigen Beweisen abgleichen.

67. Diese Möglichkeit kann die menschliche Kontrolle wesentlich stärken.

68. Sie kann jedoch auch verschwinden, wenn der Prüfer eine zu große Anzahl von Fällen zur Bearbeitung erhält, ihm das Personal fehlt, um gegenteilige Beweise zu suchen, und er in erster Linie dafür belohnt wird, den Rückstand abzuarbeiten.

69. Eine Unterschrift dokumentiert dann eher die Durchlaufen eines Arbeitsablaufs als eine wohlüberlegte Entscheidung.

70. Eine Möglichkeit, diesen Unterschied zu prüfen, besteht darin, zu fragen, was passiert, wenn der Prüfer anderer Meinung ist.

71. Kann die Person die Empfehlung ablehnen, sie ändern, weitere Informationen anfordern oder den Prozess stoppen, ohne dass eine versteckte Strafe für die Verlangsamung der Produktion droht?

72. Lautet die Antwort „nein“, liegt die scheinbare endgültige Entscheidung weitgehend beim System und der Organisation, die sie dort platziert hat.

73. Befugnis muss eine realisierbare Alternative beinhalten.

74. Menschliche Aufsicht muss auch keine ständige Beobachtung bedeuten – eine Tätigkeit, bei der die Aufmerksamkeit über lange, ereignislose Zeiträume nachlassen kann, während der Beobachter kaum Grund hat, anzunehmen, dass der nächste Fall anders sein wird.

75. Ein System kann stattdessen definierte Entscheidungen einem Spezialisten vorbehalten, Fälle mit ausreichender Vorlaufzeit vorlegen und ungewisse oder außergewöhnliche Ergebnisse zur gezielten Überprüfung weiterleiten.

76. Diese Vorgehensweise erfordert dennoch eine zuverlässige Methode, um zu erkennen, welche Fälle Aufmerksamkeit verdienen.

77. Wenn der automatisierte Filter genau die Ausnahme übersieht, die er eigentlich melden soll, kann keine Überprüfungswarteschlange dieses Versäumnis beheben.

78. Die Bedingungen für die Überwachung müssen daher an dem Punkt geprüft werden, an dem der Mensch den Fall erhält, und nicht lediglich an dem Punkt, an dem die Software eine Antwort liefert.

79. Untersuchungen zu Fahrzeugübergaben zeigen, warum der Zeitpunkt eigene Nachweise verdient.

80. Frederik Naujoks und Kollegen untersuchten 34 Teilnehmer unter Verwendung eines Fahrzeugs, das bedingte Automatisierung auf deutschen Autobahnen simulierte.

81. Nach mehreren Minuten automatisierten Fahrens erhielten die Teilnehmer Aufforderungen, in unkritischen Verkehrssituationen die Kontrolle wieder zu übernehmen.

82. In der Studie meisterten sie diese Übergänge sicher.

83. Die Vorbereitung auf das Fahren dauerte länger, wenn eine Nebenaufgabe ihren Blick von der Straße ablenkte oder ihre Hände beschäftigte, und die Spurposition schwankte unmittelbar nach dem Wechsel stärker.

84. Dies ist ein nützliches Gegenbeispiel zu der Behauptung, dass eine Übernahme von Natur aus unmöglich sei.

85. Es definiert zudem die Grenzen dieser Sicherheit.

86. Ein vorgewarntes Fahrerkollege in einem unkritischen Übergang hat eine andere Aufgabe als ein Fahrer, von dem erwartet wird, dass er einen unangekündigten Ausfall innerhalb von Sekunden erkennt und behebt, während sich das umgebende System weiterbewegt.

87. Die zur Verfügung stehende Zeit, die unterbrochene Tätigkeit und der Zustand des Systems sind Teil des Ergebnisses.

88. Ein Ingenieur kann eine erfolgreiche Übergabe aus einem Kontext nicht einfach auf einen anderen übertragen, indem er lediglich das Wort „Mensch“ beibehält.

89. Selbst eine rechtzeitige Warnung kann unzureichend sein, wenn die Person nicht erkennen kann, warum sie erschien, was die Automatisierung bereits getan hat oder welche Maßnahme das System in einen sicheren Zustand versetzt.

90. Umgekehrt kann eine geringe Vorbereitungszeit ausreichen, wenn die Aufgabe vertraut ist, die Warnung klar ist und der Übergang geübt wurde.

91. Die gestalterische Frage ist empirischer Natur.

92. Zu welchem Zeitpunkt erkennt die Person, dass ein Eingreifen erforderlich ist, wie lange dauert das Verstehen und wie viel Zeit bleibt für ein sicheres Manöver?

93. Diese Zeiträume sollten gemeinsam untersucht werden, unter Berücksichtigung der Ablenkungen und der Arbeitsbelastung, die im tatsächlichen Einsatz zu erwarten sind.

94. Verfügbare Daten sind genauso wichtig wie verfügbare Sekunden.

95. Ein Arzt, der gebeten wird, eine vorgeschlagene Behandlung zu prüfen, benötigt die relevanten Messwerte des Patienten, eine klare Darstellung dessen, was das System vorschlägt, und genügend Zeit, um den Vorschlag mit der Situation des Patienten abzugleichen.

96. Ein Pilot muss wissen, welcher Flugsteuerungsmodus aktiv ist und was das Flugzeug tatsächlich tut.

97. Ein Sachbearbeiter, der eine Empfehlung prüft, benötigt Zugang zur zugrunde liegenden Fallakte und nicht nur zu einer Punktzahl.

98. Die Beispiele unterscheiden sich in ihrer Dringlichkeit, aber jeder Prüfer muss in der Lage sein, das Ergebnis mit externen Belegen zu vergleichen.

99. Andernfalls beschränkt sich das Urteil der Person darauf, das System anhand seines eigenen Berichts zu beurteilen.

100. Das Verständnis der Aufgabe ist die nächste Voraussetzung.

101. Ein Bediener kann nicht zuverlässig eingreifen, wenn sich die Grenze zwischen maschineller Aktion und menschlicher Verantwortung ohne einen klaren Hinweis in dem Moment ändert, in dem sie sich ändert – insbesondere wenn die Maschine ihre eigenen Ergebnisse ausführen kann.

102. Dazu gehört auch zu wissen, ob eine automatisierte Empfehlung auf Genehmigung wartet, bereits umgesetzt wurde oder eine Aktion auslöst, sofern niemand sie stoppt.

103. Diese Zustände können auf einem Bildschirm ähnlich aussehen, bieten jedoch sehr unterschiedliche Möglichkeiten, einen Fehler zu korrigieren.

104. Die Kapazität vervollständigt das Bild.

105. Eine geschulte Person mag in der Lage sein, eine Handvoll schwieriger Fälle sorgfältig zu prüfen, während dieselbe Person einen endlosen Strom in Maschinen-Geschwindigkeit nicht sinnvoll überprüfen kann.

106. Personalausstattung und Schulung sind daher Eigenschaften des Überwachungssystems und nicht bloß administrative Details außerhalb desselben.

107. Die Schulung muss den normalen Betrieb abdecken, doch gerade die seltenen Abweichungen davon erfordern gezieltes Üben, da die Routinearbeit kaum Gelegenheit zum Einüben bietet und eine Person andernfalls unter Druck möglicherweise zum ersten Mal mit einer Ausnahme konfrontiert wird.

108. Auch ein Stoppknopf allein reicht nicht aus.

109. Das gestoppte System muss in einen für die betroffenen Personen sicheren Zustand übergehen, und jemand muss sowohl die Befugnis als auch die praktischen Mittel haben, diesen Weg zu wählen.

110. Das KI-Gesetz der Europäischen Union trifft eine entsprechende Unterscheidung für betroffene Hochrisikosysteme, indem es Maßnahmen zur menschlichen Aufsicht vorschreibt, die die Interpretation, die Nichtverwendung oder die Außerkraftsetzung einer Ausgabe sowie eine sichere Unterbrechung ermöglichen.

111. Ob diese gesetzlichen Pflichten für ein bestimmtes System gelten, ist eine andere Frage, doch die Logik hinter der Konzeption ist klar: Aufsicht erfordert nutzbare Optionen, nicht nur eine Person in der Nähe.

112. Diese Optionen sollten vor der Inbetriebnahme unter Bedingungen getestet werden, die der tatsächlichen Arbeitsbelastung ähneln, einschließlich falscher Ergebnisse, fehlender Daten und dringender Übergänge.

113. Eine Probe, die von einem aufmerksamen Bediener mit unbegrenzter Zeit ausgeht, würde die zentrale Schwierigkeit außer Acht lassen.

114. Der Test sollte prüfen, ob eine geschulte Person das relevante Signal erkennt, dessen Konsequenz versteht, eine zulässige und physisch mögliche Reaktion auswählt und die Korrektur vornimmt, solange es noch von Bedeutung ist.

115. Das ist ein strengerer Maßstab als das Auffinden eines menschlichen Namens auf einem Genehmigungsformular.

116. Er widersteht auch der gegenteiligen Vereinfachung, dass Maschinen niemals Aufgaben mit weitreichenden Folgen übernehmen dürfen.

117. Automatisierung kann einen Prozess konsistenter machen, während sorgfältig konzipierte Eingriffsmöglichkeiten den Menschen die Möglichkeit geben, Grenzen zu erkennen, die der automatisierte Prozess allein nicht erkennen kann.

118. In San Francisco verfügte das Cockpit über Piloten, Instrumente und ein Verfahren zum Abbruch eines instabilen Anflugs.

119. Die entscheidende Frage war, ob diese Elemente vor Erreichen der Küstenbefestigung zusammengeführt werden konnten, solange das Flugzeug noch Platz zum Steigflug hatte.