10 – Amikor a gépek is döntéshozók – Wenn Maschinen mitentscheiden

1. 2018. március 18-án este egy tesztjármű észak felé haladt Tempe városán (Arizona) keresztül, miközben egy kísérleti vezetési rendszer szabályozta a sebességét és a kormányzását.

2. A volán mögött egy biztonsági operátor ült.

3. Előtte egy nő a zebrán kívül tolta át a kerékpárját az úton.

4. A jármű érzékelői 5,6 másodperccel az ütközés előtt regisztrálták a nőt – állítják a nyomozók, akik később rekonstruálták mind a rendszer változó besorolásait, mind a reagálásra rendelkezésre álló egyre szűkülő időt.

5. Az észlelés csupán az első lépés volt.

6. A rendszer továbbra is követte a nőt, de soha nem sorolta be pontosan gyalogosként, és nem jósolta meg helyesen az útvonalát – ez a megkülönböztetés azért fontos, mert egy tárgy észlelése még nem jelenti azt, hogy tudni is lehet, merre fog haladni.

7. A rendszer nem fékezett időben.

8. A rendszert úgy tervezték, hogy megakadályozza az automatikus vészfékezés bekapcsolódását az ütközés enyhítése érdekében, így a fennmaradó védelem attól függött, hogy a vezető beavatkozik-e, miután a szoftver saját reakciója kudarcot vallott.

9. A nő nem az útra figyelt.

10. A videófelvétel azt mutatta, hogy tekintete körülbelül egy másodperccel azelőtt tért vissza az útra, hogy a jármű elgázolta a nőt, aki meghalt.

11. A vezető szinte az ütközés pillanatában kezdett kormányozni.

12. Ezek a másodpercek inkább egy döntéssorozatot tárnak fel, mintsem egy „ember” vagy „gép” feliratú kapcsolót, mivel az észlelés, az értelmezés, az előrejelzés és a fizikai cselekvés különböző időpontokban sikerülhet vagy kudarcot vallhat.

13. Egy érzékelő szolgáltatta az észleléseket, a szoftver besorolta azokat egy kategóriába, egy modell előre jelezte a mozgást, és egy vezérlőrendszer határozta meg, milyen intézkedést kell tenni.

14. Minden szakasz szűkítette a következő szakasz választási lehetőségeit.

15. Miután a pályaelőrejelzés tévesnek bizonyult, a veszély késői felismerése miatt egyre szűkülő időintervallum maradt, amelyen belül a fékezésnek még jelentősége lehetett volna.

16. Miután a vészfékezés kizártá vált, a rendelkezésre álló védekezési lehetőség nagymértékben attól függött, hogy valaki észreveszi-e azt a veszélyt, amelyet a rendszer nem tudott kezelni, megérti-e a cselekvés szükségességét, és a fennmaradó másodpercek alatt cselekszik-e.

17. Ember is jelen volt, de a jelenlét nem jelentett biztonsági garanciát.

18. A Nemzeti Közlekedésbiztonsági Tanács a baleset valószínűsíthető okaként a vezető vizuális figyelemelterelését azonosította, miközben jelentésében azokat a körülményeket is feltárta, amelyek miatt a tervezett emberi tartalék megbízhatatlanná vált.

19. Emellett megállapította, hogy a tesztet végző vállalaton belül nem történt megfelelő biztonsági kockázatértékelés, a vezetők felügyelete gyenge volt, és nem hoztak elegendő intézkedést az önelégültség ellen.

20. A gyalogos átkelése és a tesztelésre vonatkozó nem megfelelő állami felügyelet szintén a balesetet elősegítő tényezők között szerepelt.

21. Kezdetben senki sem rendelkezett a teljes körű vizsgálati jelentéssel.

22. A későbbi megállapítások ezért rávilágítanak a teszt felépítésére anélkül, hogy bizonyítanák, hogy minden résztvevő előre ismerte volna az egyes veszélyeket, vagy ugyanazokkal az információkkal, jogosultságokkal és lehetőségekkel rendelkezett volna azok megelőzésére.

23. Ami vizsgálható, az az a rendszer, amely egy fejlesztés alatt álló járművet közútra engedett, vezetési feladatokat rendelt hozzá, és egy emberre bízta a hibák észlelését.

24. Ez a rendszer maga is egy döntés volt, amelyet még azelőtt hoztak meg, hogy a jármű találkozott volna a gyalogossal, és még azelőtt, hogy a szoftverének egy bizonytalan besorolást fizikai reakcióvá kellett volna alakítania.

25. A szoftver nem döntött arról, hogy a fejlesztés alatt álló jármű készen áll-e arra az útvonalra, sem arról, hogy az üzemeltetőket hogyan képezik ki és hogyan felügyelik.

26. Ezeket a döntéseket emberek és intézmények hozták meg.

27. A feladatátruházás már azelőtt megkezdődik, hogy a gép kimenetet produkálna: amikor a tervezők eldöntik, mire képes a gép, milyen bizonyíték tekinthető elegendőnek, és mi történjen, ha a rendszer meghibásodik.

28. A jármű útja a látástól a cselekvésig ezt láthatóvá teszi, mert minden közbenső lépésnek más célja volt, és más lehetséges hibája.

29. A kamera vagy a radar visszajelzése bizonyíték, nem pedig ítélet.

30. Egy olyan kategória, mint a „gyalogos”, segít a szoftvernek előre látni a viselkedést, de a kategória téves vagy bizonytalan lehet, különösen akkor, ha a megfigyelt mozgás nem illeszkedik a rendszerbe beépített példákhoz vagy feltételezésekhez.

31. A megjósolt útvonal irányítja a cselekvést, ám a jóslat inkább feltételes becslés, mint tény arról, hogy valaki hová fog sétálni.

32. A fékezéshez további szabályra van szükség arról, hogy mikor indokolja a becsült veszély a beavatkozást.

33. Ekkor a fékeknek engedélyt kell kapniuk a reagálásra.

34. Ha az egész láncolatot „automatizált döntésnek” nevezzük, az elrejti azokat a pontokat, ahol a tervezők küszöbértékeket állítanak be, cselekvéseket zárnak ki, és a fennmaradó terhet egy olyan személyre hárítják, akinek talán alig van ideje reagálni.

35. Minél több szakaszt csoportosítanak egy címke alá, annál nehezebb megtalálni a korrekcióra alkalmas gyakorlati lehetőséget.

36. Tempe-ben ez a lehetőség másodpercekben mérhető volt.

37. A téves besorolás utólagos magyarázata segített volna a nyomozóknak, de a veszély pillanatában nem tudta volna megállítani a járművet.

38. Egy figyelmeztetés, egy automatikus tartalék megoldás vagy egy tesztelési határ csak akkor lehet fontos az ütközés előtt, ha időzítése egybeesik azzal a hibával, amelyet orvosolni hivatott, és ha valaki hatékonnyá tette azt a tényleges használati körülmények között.

39. Mindegyiket értékelni kell az adott feladat szempontjából.

40. A névleges felülírás hatástalan, ha az a személy, akitől a használatát várják, nem tudja fogadni, értelmezni és a kapott információ alapján cselekedni, mielőtt a következmény bekövetkezne.

41. Ugyanez a kérdés merül fel a lassabb rendszerekben is, bár az időkeret és a kár mértéke eltérő lehet.

42. Egy pontszám csupán tájékoztathatja a munkavállalót, vagy az ügyet a sor elejére helyezheti, ahol a tétlenség válik alapértelmezetté, és az emberek a rangsort utasításként kezelik.

43. Egy ajánlást felül lehet vizsgálni, míg egy automatikus végrehajtás már a felülvizsgálat megkezdése előtt megváltoztathatta valakinek a helyzetét.

44. Egy delegált célt követő rendszer útközben további lépéseket választhat, ezzel megsokszorozva azokat a pontokat, ahol felügyeletre van szükség.

45. Ezek a hatáskörbeli különbségek.

46. Ezeket nem az határozza meg, hogy a szoftver tartalmaz-e olyan technikát, amelyet mesterséges intelligenciaként forgalmaznak.

47. Ugyanígy nem minden mechanikus lépés erkölcsi ítélet; sok hasznos automatizálás egy jól meghatározott feladatot következetesebben hajt végre, mint egy fáradt ember, különösen akkor, ha a művelet határok közé van szorítva, és eredményeit figyelemmel kísérik.

48. A releváns kérdés az, hogy egy következményekkel járó folyamat mely részét ruházzák át, és milyen feltételek mellett lehet egy hibás eredményt észlelni.

49. A következetesség megbízhatóvá teheti egy szolgáltatást.

50. Ugyanakkor nagy léptékben is reprodukálhat egy hibás szabályt, így sok embernek ugyanazt a hibát okozva, mielőtt bárki felismerné a mintát, és a szervezetre hárítva annak feladatát, hogy kiderítse, hol került be ez a minta a munkájába.

51. A sebesség mindkét hatást felerősíti.

52. Amikor egy modell több ezer esetet osztályoz, a személyzet a rangsort tényként értelmezheti, nem pedig olyan eredményként, amelyet a képzési adatok, célok és küszöbértékek alakítottak ki – amelyek mindegyikét emberek választották ki vagy fogadták el.

53. A rangsor továbbra is hasznos lehet, de célját pontosan meg kell határozni: mit kell felismernie, és mi történik azokkal, akiket nem vesz észre?

54. A számok önmagukban nem adnak választ ezekre a kérdésekre.

55. A tervezőknek, az üzemeltetőknek és a használatot engedélyező szervezeteknek el kell dönteniük, hogy milyen hibaarányok elfogadhatók, és meg kell határoznia, ki viseli az egyes hibatípusok költségeit, mivel az észrevétlen veszélyek és a téves riasztások ritkán ugyanazokat az embereket érintik.

56. Azt is meg kell vizsgálniuk, hogy az adatok leírják-e azokat az embereket és körülményeket, amelyek között a rendszer működni fog.

57. Ellenkező esetben egy szép eredmény elrejtheti a modell feladata és a valós döntés közötti rossz illeszkedést, különösen akkor, ha a mért pontosság helyettesíti azt a tágabb kötelezettséget, amelyet a mérés soha nem rögzített.

58. A tempe-i jármű egy fejlesztési teszt volt, nem pedig annak bizonyítéka, hogy az automatizált vezetés elérte a megbízható, vezető nélküli szolgáltatást.

59. Üzemeltetője, fejlesztője és a nyilvános felügyelők különböző pozíciókat foglaltak el a láncban, különböző információkkal és különböző jogosultságokkal a teszt módosítására.

60. Ez a felosztás akkor a legfontosabb, amikor a tervezett mentés a lánc legvégén álló személytől függ.

61. Vegyünk egy másik gépet, amely ismétlődően működik, miközben felhasználója a mindennapi életét éli.

62. Az 1-es típusú cukorbetegségben szenvedő személynek inzulinra van szüksége, mert a szervezete nem termel elegendő mennyiségű hormont a vércukorszint szabályozásához.

63. Egy automatizált adagolórendszer méri a glükózszintet, megbecsüli, milyen beállításra van szükség, és egy szivattyú segítségével módosítja az inzulinadagolást anélkül, hogy minden egyes beállításhoz külön döntésre lenne szükség.

64. Ebben az esetben a folyamatos visszacsatolás játszik központi szerepet.

65. Egy friss glükózmérés rávilágíthat arra, hogy a korábbi beállítás már nem megfelelő, lehetővé téve a vezérlő számára, hogy a következő lépését egy meghatározott tartományon belül módosítsa.

66. Ez a rendszer nem szünteti meg a kockázatot, és a felhasználóknak továbbra is információt kell szolgáltatniuk és figyelniük kell a készülékre, de megváltoztatja a hibák észlelésére és azokra való reagálásra rendelkezésre álló időt.

67. A kutatók hat hónapig teszteltek egy ilyen rendszert.

68. Egy randomizált vizsgálatban 168, 1-es típusú cukorbetegségben szenvedő személyt osztottak be vagy az automatizált adagolású, vagy egy érzékelővel felszerelt szivattyú csoportjába, amely utóbbi több döntést igényelt a felhasználótól, így a kutatók a kényelmi benyomások helyett meghatározott kezeléseket tudtak összehasonlítani.

69. Az elsődleges mérőszám a 70 és 180 milligramm/deciliter közötti glükózszint mellett eltöltött idő volt, ami inkább egy meghatározott célérték, mint az egészségi állapot teljes képe.

70. Az automatizált rendszerhez rendelt 112 résztvevő esetében az ebben a tartományban eltöltött átlagos idő a vizsgálat kezdetén mért 61 százalékról a vizsgálat során 71 százalékra emelkedett.

71. Az összehasonlító szivattyút használó 56 résztvevő esetében ez az arány 59 százalék körül maradt.

72. Kiigazítás után a csoportok között 11 százalékpontos különbség mutatkozott ebben a mutatóban, a tanulmányban közölt 95 százalékos konfidencia-intervallum 9 és 14 pont között mozgott, ami jelzi a becsült összehasonlítás pontosságát.

73. Ez egy meghatározott kimenetelben mért jelentős különbség.

74. Ez nem jelenti azt, hogy minden beteg egyformán profitál belőle, hogy minden szövődményt sikerült megelőzni, vagy hogy a szivattyú minden kezelési döntést meg tud hozni.

75. A vizsgálat hat hónapig tartott, és 14–71 éves résztvevőket vont be, így eredménye önmagában nem ad választ az évtizedekig tartó használattal, a fiatalabb betegekkel vagy a berendezés esetleges meghibásodásával kapcsolatos kérdésekre.

76. A rendszer továbbra is igényelte az emberi beavatkozást.

77. A felhasználóknak továbbra is kölcsönhatásba kellett lépniük vele, és a szivattyú infúziós beállításában fellépő hiba diabéteszes ketoacidózist okozott az automatizált csoportban.

78. Súlyos hipoglikémiás események egyik vizsgálati csoportban sem fordultak elő, ami megnyugtató megfigyelés, de nem bizonyítja, hogy ilyen események kizártak lennének.

79. A Tempe-vel való ellentét nem egy rossz és egy jó gép közötti verseny.

80. Az egyik rendszert közúton tesztelték, ahol egy hiba esetén csak másodpercek álltak rendelkezésre a beavatkozásra; a másik egy szűkebb változót szabályozott, miközben folyamatosan mérési adatokat kapott.

81. Környezetük, funkcióik és a visszacsatolásra nyíló lehetőségeik eltérőek.

82. Az a szabályozó hurok, amely érzékeli saját legutóbbi beállításának eredményét, esélyt kap a pálya korrekciójára, feltéve, hogy az érzékelő, a szivattyú, a felhasználó és a klinikai utasítások mind együttműködnek.

83. Egy autó is képes folyamatos érzékelőadatokat fogadni, ám ez a tény önmagában nem pótolhatja azokat a másodperceket, amelyek a besorolás és a reakció kudarca miatt vesznek el.

84. A visszacsatolás csak addig hasznos, amíg a korrekció fizikailag lehetséges.

85. A cukorbetegségi vizsgálatban maga a célérték-tartomány is emberi klinikai megítélésen alapult, és a kísérlet egy meghatározott kezelési módszert hasonlított össze egy másikkal.

86. A célérték-tartományban töltött idő százalékos aránya lehetőséget ad a kutatóknak egy hatás tesztelésére, de nem határozza meg, hogy egy adott betegnek hogyan kell mérlegelnie a terhet, a kellemetlenséget vagy egyéb aggályokat.

87. A feladatátruházás tehát javíthat egy mérhető dimenzión, miközben a nagyobb cél eldöntését a megítélésre bízza.

88. A munkaterhelés eloszlását is megváltoztathatja.

89. A rendszert használó személy kevesebb rutin adagmódosítást végezhet, míg az orvosok és a gyártók nagyobb felelősséget vállalnak a határértékek meghatározásáért, a hibák felismeréséért, valamint annak elmagyarázásáért, hogy a felhasználóknak mit kell tenniük, ha a készülék váratlanul viselkedik.

90. Ezek a felelősségek a meggyőző bemutatáson túlmutató bizonyítékokat igényelnek.

91. Használat előtt a rendszert olyan körülmények között kell tesztelni, amelyek elég szorosan hasonlítanak a tervezett használati környezethez ahhoz, hogy a releváns meghibásodások feltáródjanak.

92. Használat közben figyelemmel kell kísérni a rendszer teljesítményét olyan hibák felderítése érdekében, amelyek túl ritkák, túl alig észrevehetőek vagy túlzottan függnek a kontextustól ahhoz, hogy egy kezdeti vizsgálatban feltűnjenek.

93. Amikor egy mintázat rajzolódik ki, valakinek rendelkeznie kell a rendszer módosítására vagy használatának felfüggesztésére vonatkozó jogosultsággal.

94. Ez egy intézményi hurok, amely lassabb, mint a készülék technikai hurokja.

95. Egy gép a következő mérés után beállíthatja az inzulinadagot; egy egészségügyi szervezetnek viszont hetekre vagy hónapokra lehet szüksége ahhoz, hogy felismerje: egy adott kialakítás problémákat okoz egy bizonyos csoport számára.

96. Mindkét hurok a beavatkozás része.

97. A tempe-i teszt során a nyomozók a gyenge szervezeti értékelésre és felügyeletre mutattak rá, mivel az ilyen lassúbb döntések során elkövetett hibák hozzájárultak a jármű vezetési körülményeinek kialakulásához.

98. Ezek az eredmények nem teszik az üzemeltetőt passzív szemlélővé.

99. Neki felügyeleti kötelezettsége volt, és figyelmének elterelése központi szerepet játszott a bizottság beszámolójában, de egy intézmény nem teheti megbízhatóvá a törékeny biztonsági rendszert pusztán azzal, hogy megnevezi azt a személyt, aki mellette áll.

100. A felelősségre vonás méltányossága attól függ, hogy az adott személy reálisan mit láthatott és tehetett.

101. Hasonlóképpen, egy klinikus azon képessége, hogy beavatkozzon egy eszköz által támogatott folyamatba, az információtól, az időtől, a képzéstől és attól függ, hogy milyen eszközök állnak rendelkezésére a folyamat irányának megváltoztatására, mielőtt kár keletkezne.

102. Az emberi felügyelet egy képesség, nem pedig egy ülésrend.

103. Amikor egy rendszer ajánlást ad, a felelős ellenőrnek elegendő kontextusra van szüksége ahhoz, hogy felismerje, mikor esik egy eset a modell által támogatott kereteken kívül.

104. Amikor a szervezet egy műveletet hajt végre, olyan korlátokra van szüksége, amelyek megakadályozzák, hogy egy hiba a felülvizsgálat előtt számos esetre kiterjedjen.

105. Amikor a szervezet több lépésen keresztül törekszik egy cél elérésére, a korlátoknak azt is szabályozniuk kell, hogy mely további műveleteket kezdeményezhet, és mikor kell engedélyt kérnie.

106. Minél szorosabb a kapcsolat a kimenet és a következmény között, annál korábban kell a biztonsági intézkedésnek működésbe lépnie.

107. Egyes hibák fellebbezés után kijavíthatók.

108. Egy ütközés ellen nem lehet fellebbezni, és még egy szivattyú visszafordítható beállítása is gyors beavatkozást igényelhet, ha a berendezés meghibásodik.

109. A megfelelő tervezés a kár súlyosságától, a reagálási időtől és az elveszett dolog helyreállításának lehetőségétől függ.

110. Éppen ezért a „human in the loop” követelmény önmagában olyan keveset mond.

111. A kifejezés nem árulja el, hogy az illető jóváhagyja-e a javasolt műveletet, figyelmeztetést kap-e a végrehajtás után, vagy csupán felelősséget visel, ha a rendszer meghibásodik.

112. Nem derül ki belőle, hogy az illető büntetés nélkül ellentmondhat-e, megérti-e a vonatkozó jelet, vagy időben eléri-e a vezérlőelemeket.

113. Az érdemi irányítást a munka tényleges menetén keresztül kell nyomon követni.

114. Felhozható az az ellenvetés, hogy ez a nyomon követés lassítja az emberi hibákat csökkenteni képes rendszerek bevezetését.

115. A cukorbetegségi kísérlet alátámasztja ezt az ellenvetést: ha minden rutinbeállítást az orvosra vagy a betegre bíznánk, az a vizsgált környezetben a folyamatos automatizálás által biztosított mérhető előny elvesztését jelenthetné.

116. A megoldás az, hogy a teljes rendszert értékeljük, beleértve az alternatíva terheit és hibáit is.

117. A halálos baleset viszont nem szolgáltathat baleseti arányt az automatizált járművekre vonatkozóan, és nem bizonyíthatja, hogy egy emberi sofőr mindig jobban járt volna.

118. Ez egy olyan konkrét helyzetet mutat be, amelyben a hibás előrejelzés, a kikapcsolt kockázatcsökkentés és a késői emberi beavatkozás együttesen jelentkezett, és amelynek kockázatait a tesztelés során nem kezelték megfelelően.

119. Mindkét eset pontosabb összehasonlítást igényel, mint egy egyszerű verseny a gép és az ember között.

120. Ki tűzte ki a célt, melyik cselekvés lépett át a számításból a végrehajtásba, milyen visszajelzések érkeztek a külvilágból, és ki tudta volna megállítani a láncreakciót, amíg a leállítás még számított?

121. A tempe-i úton a rendszer észlelte az előtte haladó személyt; a döntő hiányzó láncszem egy hatékony út volt e megfigyelés és az időbeni védelem között.

1. Am Abend des 18. März 2018 fuhr ein Testfahrzeug in nördlicher Richtung durch Tempe, Arizona, wobei ein experimentelles Fahrsystem die Geschwindigkeit und die Lenkung steuerte.

2. Ein Sicherheitsbeauftragter saß am Steuer.

3. Vor dem Fahrzeug schob eine Frau ein Fahrrad außerhalb eines Fußgängerüberwegs über die Straße.

4. Die Sensoren des Fahrzeugs registrierten sie 5,6 Sekunden vor dem Aufprall, wie Ermittler feststellten, die später sowohl die sich ändernden Klassifizierungen des Systems als auch die immer knapper werdende Reaktionszeit rekonstruierten.

5. Die Erkennung war nur der erste Schritt.

6. Das System verfolgte sie zwar weiter, klassifizierte sie jedoch nie eindeutig als Fußgängerin und sagte ihren Weg nicht korrekt voraus – eine Unterscheidung, die entscheidend ist, da das Erkennen eines Objekts noch keine Aussage darüber trifft, wohin es sich bewegen wird.

7. Es bremste nicht rechtzeitig.

8. Das System war so konzipiert, dass die automatische Notbremsung nicht ausgelöst wurde, um die Wucht eines Aufpralls zu mindern; daher hing der verbleibende Schutz davon ab, dass der Fahrer eingriff, nachdem die Reaktion der Software versagt hatte.

9. Sie hatte ihren Blick von der Straße abgewendet.

10. Videoaufnahmen zeigten, dass ihr Blick etwa eine Sekunde vor dem Aufprall des Fahrzeugs auf die Frau zurückkehrte, die dabei ums Leben kam.

11. Die Fahrerin begann fast im Moment des Aufpralls zu lenken.

12. Diese Sekunden offenbaren eher eine Abfolge von Entscheidungen als einen einfachen Schalter mit der Aufschrift „Mensch“ oder „Maschine“, denn das Wahrnehmen, Interpretieren, Vorhersagen und physische Handeln kann zu unterschiedlichen Zeitpunkten gelingen oder scheitern.

13. Ein Sensor lieferte Beobachtungen, die Software ordnete eine Kategorie zu, ein Modell prognostizierte die Bewegung, und ein Steuerungssystem bestimmte, welche Maßnahme zu ergreifen war.

14. Jede Stufe schränkte die Auswahlmöglichkeiten der nächsten Stufe ein.

15. Sobald die Wegvorhersage falsch war, stand bei einer verspäteten Erkennung der Gefahr nur noch ein immer kürzer werdendes Zeitfenster zur Verfügung, in dem eine Bremsung noch etwas bewirken konnte.

16. Sobald eine Notbremsung ausgeschlossen war, hing die verfügbare Abwehrmaßnahme stark davon ab, dass eine Person eine Gefahr bemerkte, die das System nicht bewältigt hatte, die Notwendigkeit zum Handeln erkannte und innerhalb der verbleibenden Sekunden handelte.

17. Ein Mensch war zwar anwesend, doch seine Anwesenheit stellte keine Sicherheit dar.

18. Die Nationale Verkehrssicherheitsbehörde (NTSB) identifizierte die visuelle Ablenkung des Fahrers als wahrscheinliche Unfallursache, während ihr Bericht zudem die Umstände aufzeigte, die die geplante menschliche Absicherung unzuverlässig machten.

19. Sie stellte außerdem eine unzureichende Sicherheitsrisikobewertung, eine mangelhafte Beaufsichtigung der Fahrer sowie unzureichende Maßnahmen gegen Selbstgefälligkeit innerhalb des Unternehmens fest, das den Test durchführte.

20. Das Überqueren der Straße durch den Fußgänger und die unzureichende staatliche Aufsicht über die Testfahrten gehörten ebenfalls zu den mitwirkenden Faktoren.

21. Zu Beginn lag noch niemandem der vollständige Untersuchungsbericht vor.

22. Die späteren Erkenntnisse beleuchten daher die Konzeption des Tests, ohne zu beweisen, dass jeder Teilnehmer jede Gefahr im Voraus kannte oder über dieselben Informationen, Befugnisse und Möglichkeiten verfügte, diese zu verhindern.

23. Was untersucht werden kann, ist die Vorgehensweise, bei der ein in der Entwicklung befindliches System auf eine öffentliche Straße gebracht, ihm Fahraufgaben zugewiesen und darauf vertraut wurde, dass ein Mensch Fehler abfangen würde.

24. Diese Vorgehensweise war selbst eine Entscheidung, die getroffen wurde, bevor das Fahrzeug auf den Fußgänger traf und bevor seine Software eine ungewisse Klassifizierung in eine physische Reaktion umsetzen musste.

25. Die Software entschied nicht darüber, ob ein Entwicklungsfahrzeug für diese Strecke bereit war oder wie die Fahrer geschult und überwacht werden sollten.

26. Menschen und Institutionen trafen diese Entscheidungen.

27. Die Delegation beginnt bereits, bevor eine Maschine ein Ergebnis liefert – nämlich dann, wenn Entwickler entscheiden, was sie tun darf, welche Nachweise als ausreichend gelten und was geschehen muss, wenn sie versagt.

28. Der Übergang des Fahrzeugs vom Sehen zum Handeln macht dies deutlich, da jeder Zwischenschritt einen anderen Zweck und eine andere mögliche Fehlerquelle hatte.

29. Ein Kamera- oder Radarsignal ist ein Hinweis, kein Urteil.

30. Eine Kategorie wie „Fußgänger“ hilft der Software, Verhalten vorherzusehen, doch die Kategorie kann falsch oder unzuverlässig sein, insbesondere wenn die beobachtete Bewegung nicht zu den im System hinterlegten Beispielen oder Annahmen passt.

31. Eine vorhergesagte Route leitet das Handeln, doch eine Vorhersage ist eher eine bedingte Schätzung als eine Tatsache darüber, wohin jemand gehen wird.

32. Das Bremsen erfordert eine weitere Regel darüber, wann die eingeschätzte Gefahr ein Eingreifen rechtfertigt.

33. Den Bremsen muss dann erlaubt werden, zu reagieren.

34. Die Bezeichnung der gesamten Kette als „automatisierte Entscheidung“ verschleiert die Stellen, an denen Entwickler Schwellenwerte festlegen, Handlungen ausschließen und die verbleibende Last einer Person auferlegen, die möglicherweise nur wenig Zeit zum Reagieren hat.

35. Je mehr Schritte unter einem Begriff zusammengefasst werden, desto schwieriger wird es, eine praktische Möglichkeit zur Korrektur zu finden.

36. In Tempe wurde diese Möglichkeit in Sekunden gemessen.

37. Eine nachträgliche Erklärung einer Fehlklassifizierung hätte den Ermittlern geholfen, hätte das Fahrzeug im Moment der Gefahr jedoch nicht aufhalten können.

38. Eine Warnung, ein automatischer Ausweichmechanismus oder eine Testgrenze können vor dem Aufprall nur dann von Bedeutung sein, wenn ihr Zeitpunkt mit dem Fehler übereinstimmt, den sie beheben sollen, und wenn jemand sie unter den tatsächlichen Einsatzbedingungen wirksam gemacht hat.

39. Jede dieser Maßnahmen muss im Hinblick auf diese Aufgabe bewertet werden.

40. Eine nominelle Übersteuerung ist unwirksam, wenn die Person, von der erwartet wird, dass sie sie nutzt, Informationen nicht empfangen, interpretieren und darauf reagieren kann, bevor die Konsequenz eintritt.

41. Die gleiche Frage stellt sich auch bei langsameren Systemen, auch wenn der Zeitdruck und der Schaden unterschiedlich sein mögen.

42. Eine Bewertung kann einen Mitarbeiter lediglich informieren, oder sie kann einen Fall an den Anfang einer Warteschlange setzen, wo Untätigkeit zur Voreinstellung wird und Menschen eine Rangfolge als Anweisung betrachten.

43. Eine Empfehlung kann überprüft werden, während eine automatische Ausführung die Position einer Person möglicherweise bereits verändert hat, bevor die Überprüfung beginnt.

44. Ein System, das ein delegiertes Ziel verfolgt, kann unterwegs weitere Maßnahmen auswählen, wodurch sich die Anzahl der Punkte vervielfacht, an denen eine Aufsicht erfolgen muss.

45. Dies sind Unterschiede in der Entscheidungsbefugnis.

46. Sie werden nicht dadurch entschieden, ob die Software eine Technik enthält, die als künstliche Intelligenz vermarktet wird.

47. Auch ist nicht jeder mechanische Schritt ein moralisches Urteil; viele nützliche Automatisierungen führen eine genau definierte Aufgabe wiederholt konsequenter aus, als es eine müde Person könnte, insbesondere wenn die Handlung begrenzt ist und ihre Ergebnisse überwacht werden.

48. Die relevante Frage ist, welcher Teil eines folgenreichen Prozesses übertragen wird und unter welchen Bedingungen ein fehlerhaftes Ergebnis erkannt werden kann.

49. Konsistenz kann einen Dienst zuverlässig machen.

50. Sie kann aber auch eine fehlerhafte Regel in großem Maßstab reproduzieren, wodurch viele Menschen denselben Fehler erhalten, bevor jemand das Muster erkennt, und es der Organisation überlassen bleibt, herauszufinden, wo dieses Muster in ihre Arbeit gelangt ist.

51. Geschwindigkeit verstärkt beide Effekte.

52. Wenn ein Modell Tausende von Fällen sortiert, betrachten Mitarbeiter die Rangfolge möglicherweise als Tatsache und nicht als ein Ergebnis, das durch seine Trainingsdaten, Ziele und Schwellenwerte geprägt ist, die jeweils von Menschen ausgewählt oder akzeptiert wurden.

53. Eine Rangfolge kann nützlich bleiben, doch ihr Zweck muss genau festgelegt werden: Was soll sie erkennen, und was geschieht mit den Fällen, die sie übersieht?

54. Zahlen allein beantworten diese Fragen nicht.

55. Entwickler, Betreiber und die Organisationen, die den Einsatz genehmigen, müssen akzeptable Fehlerquoten festlegen und klären, wer die Kosten für die einzelnen Fehlerarten trägt, da übersehene Gefahren und Fehlalarme selten dieselben Personen betreffen.

56. Sie müssen sich auch fragen, ob die Daten die Menschen und Bedingungen beschreiben, unter denen das System betrieben wird.

57. Andernfalls kann ein sauberes Ergebnis eine schlechte Übereinstimmung zwischen der Aufgabe des Modells und der tatsächlichen Entscheidung verschleiern, insbesondere wenn die gemessene Genauigkeit eine umfassendere Verpflichtung ersetzt, die die Messung nie erfasst hat.

58. Das Fahrzeug in Tempe war ein Entwicklungstest, kein Beweis dafür, dass das automatisierte Fahren einen zuverlässigen fahrerlosen Dienst erreicht hatte.

59. Sein Betreiber, sein Entwickler und die öffentlichen Aufsichtsbehörden nahmen unterschiedliche Positionen in der Kette ein, verfügten über unterschiedliche Informationen und hatten unterschiedliche Befugnisse, den Test zu ändern.

60. Diese Aufteilung ist besonders wichtig, wenn die geplante Rettung von einer Person am allerletzten Ende der Kette abhängt.

61. Betrachten wir eine andere Maschine, die wiederholt handelt, während ihr Nutzer seinem normalen Alltag nachgeht.

62. Eine Person mit Typ-1-Diabetes benötigt Insulin, da der Körper nicht genug von diesem Hormon produziert, um den Blutzucker zu regulieren.

63. Ein automatisiertes Verabreichungssystem misst den Blutzucker, schätzt die erforderliche Anpassung ab und verändert mithilfe einer Pumpe die Insulinabgabe, ohne dass für jede Anpassung eine separate Entscheidung getroffen werden muss.

64. Hier spielt kontinuierliches Feedback eine zentrale Rolle.

65. Eine neue Blutzuckermessung kann aufzeigen, dass die vorherige Einstellung nicht mehr geeignet ist, sodass die Steuerung ihre nächste Maßnahme innerhalb eines definierten Bereichs anpassen kann.

66. Diese Anordnung beseitigt das Risiko nicht, und die Nutzer müssen weiterhin Informationen bereitstellen und sich um das Gerät kümmern, aber sie verändert die Zeit, die zur Verfügung steht, um Fehler zu bemerken und darauf zu reagieren.

67. Forscher testeten ein solches System sechs Monate lang.

68. In einer randomisierten Studie wurden 168 Menschen mit Typ-1-Diabetes entweder der automatisierten Insulinabgabe oder einer mit einem Sensor ausgestatteten Pumpe zugewiesen, die mehr Entscheidungen seitens des Nutzers erforderte, sodass die Forscher definierte Behandlungen statt Eindrücke hinsichtlich der Benutzerfreundlichkeit vergleichen konnten.

69. Der primäre Messwert war die Zeit, die der Blutzucker im Bereich zwischen 70 und 180 Milligramm pro Deziliter lag – ein definiertes Ziel und kein vollständiges Bild des Gesundheitszustands.

70. Bei den 112 Teilnehmern, denen die automatisierte Abgabe zugewiesen wurde, stieg die durchschnittliche Verweildauer in diesem Bereich von 61 Prozent zu Studienbeginn auf 71 Prozent während der Studie.

71. Bei den 56 Teilnehmern, die die Vergleichspumpe verwendeten, blieb sie bei etwa 59 Prozent.

72. Nach Bereinigung unterschieden sich die Gruppen bei diesem Maß um 11 Prozentpunkte, wobei das in der Studie angegebene 95-Prozent-Konfidenzintervall von 9 bis 14 Punkten reichte, was die Genauigkeit des geschätzten Vergleichs verdeutlicht.

73. Das ist ein erheblicher gemessener Unterschied bei einem bestimmten Ergebnis.

74. Er zeigt jedoch nicht, dass jeder Patient gleichermaßen davon profitiert, dass jede Komplikation verhindert wurde oder dass eine Pumpe alle Behandlungsentscheidungen treffen kann.

75. Die Studie erstreckte sich über sechs Monate und umfasste Teilnehmer im Alter von 14 bis 71 Jahren; daher kann ihr Ergebnis allein keine Fragen bezüglich jahrzehntelanger Nutzung, jüngerer Patienten oder jeder Situation klären, in der das Gerät versagen könnte.

76. Das System erforderte zudem weiterhin menschliches Handeln.

77. Die Anwender mussten weiterhin mit dem System interagieren, und ein Fehler in der Infusionskonfiguration der Pumpe führte in der automatisierten Gruppe zu einem Fall von diabetischer Ketoazidose.

78. In keiner der beiden Studiengruppen traten schwerwiegende Hypoglykämie-Ereignisse auf – eine beruhigende Beobachtung, die jedoch nicht beweisen kann, dass solche Ereignisse unmöglich sind.

79. Der Kontrast zu Tempe ist kein Wettstreit zwischen einer schlechten und einer guten Maschine.

80. Das eine System wurde auf einer öffentlichen Straße getestet, wo bei einem Fehler nur Sekunden für ein Eingreifen blieben; das andere passte eine engere Variable an, während es wiederholt Messwerte empfing.

81. Ihre Umgebungen, Funktionen und Möglichkeiten für Rückkopplung unterscheiden sich.

82. Ein Regelkreis, der das Ergebnis seiner eigenen letzten Anpassung erfasst, hat die Chance, den Kurs zu korrigieren, vorausgesetzt, Sensor, Pumpe, Anwender und klinische Anweisungen arbeiten alle zusammen.

83. Auch ein Auto kann kontinuierlich Sensordaten empfangen, doch diese Tatsache allein kann die Sekunden nicht wiederherstellen, die verloren gehen, wenn Klassifizierung und Reaktion versagen.

84. Rückkopplung ist nur so lange nützlich, wie eine Korrektur physikalisch möglich ist.

85. In der Diabetes-Studie stammte der Zielbereich selbst aus menschlichem klinischem Urteilsvermögen, und die Studie verglich eine definierte Behandlungsmethode mit einer anderen.

86. Ein prozentualer Anteil der Zeit im Zielbereich bietet Forschern eine Möglichkeit, eine Wirkung zu testen, entscheidet jedoch nicht darüber, wie ein bestimmter Patient Belastung, Unbehagen oder andere Bedenken abwägen sollte.

87. Die Delegation kann daher eine messbare Dimension verbessern, während der übergeordnete Zweck der Beurteilung überlassen bleibt.

88. Sie kann auch zu einer Verlagerung der Arbeitsaufgaben führen.

89. Die Person, die das System nutzt, nimmt möglicherweise weniger routinemäßige Dosisanpassungen vor, während Ärzte und Hersteller eine größere Verantwortung für die Festlegung von Grenzwerten, die Erkennung von Fehlern und die Erklärung übernehmen, was Nutzer tun sollten, wenn sich das Gerät unerwartet verhält.

90. Diese Verantwortlichkeiten erfordern Belege, die über eine überzeugende Demonstration hinausgehen.

91. Vor dem Einsatz muss ein System unter Bedingungen getestet werden, die dem vorgesehenen Einsatzumfeld nahe genug kommen, um relevante Fehler aufzudecken.

92. Während des Einsatzes muss seine Leistung auf Fehler überwacht werden, die zu selten, zu subtil oder zu kontextabhängig waren, um in einer ersten Studie aufzutauchen.

93. Wenn sich ein Muster abzeichnet, muss jemand die Befugnis haben, das System zu ändern oder dessen Einsatz auszusetzen.

94. Dies ist ein institutioneller Regelkreis, der langsamer ist als der technische Regelkreis des Geräts.

95. Eine Maschine kann die Insulindosis nach der nächsten Messung anpassen; eine Gesundheitsorganisation benötigt möglicherweise Wochen oder Monate, um zu erkennen, dass eine bestimmte Konstruktion für eine bestimmte Gruppe Probleme verursacht.

96. Beide Regelkreise sind Teil der Intervention.

97. Im Tempe-Test wiesen die Ermittler auf eine unzureichende organisatorische Bewertung und Aufsicht hin, da Fehler bei diesen langsameren Entscheidungen dazu beitrugen, die Bedingungen zu prägen, unter denen das Fahrzeug fuhr.

98. Diese Erkenntnisse machen die Bedienerin nicht zu einer passiven Zuschauerin.

99. Sie hatte eine Überwachungspflicht, und ihre Ablenkung spielte in der Darstellung der Untersuchungskommission eine zentrale Rolle; doch eine Institution kann eine anfällige Sicherheitsvorkehrung nicht einfach dadurch als solide darstellen, dass sie die Person benennt, die daneben steht.

100. Die Fairness der Schuldzuweisung hängt davon ab, was diese Person realistisch gesehen und tun konnte.

101. Ebenso hängt die Fähigkeit eines Klinikers, in einen gerätegestützten Prozess einzugreifen, von Informationen, Zeit, Ausbildung und der Möglichkeit ab, den Verlauf zu ändern, bevor ein Schaden entsteht.

102. Menschliche Aufsicht ist eine Fähigkeit, kein Sitzplan.

103. Wenn ein System eine Empfehlung abgibt, benötigt ein verantwortungsbewusster Prüfer genügend Kontext, um zu erkennen, wann ein Fall außerhalb dessen liegt, was das Modell unterstützen kann.

104. Wenn die Organisation eine Maßnahme ausführt, benötigt sie Grenzen, die verhindern, dass sich ein Fehler vor der Überprüfung auf zahlreiche Fälle ausweitet.

105. Wenn sie ein Ziel in mehreren Schritten verfolgt, müssen Grenzen auch regeln, welche weiteren Maßnahmen sie einleiten darf und wann sie eine Genehmigung einholen muss.

106. Je enger die Kopplung zwischen Ergebnis und Folge ist, desto früher muss die Sicherheitsvorkehrung greifen.

107. Manche Fehler lassen sich nach einer Einspruchsmöglichkeit beheben.

108. Eine Kollision lässt sich nicht durch Einspruch rückgängig machen, und selbst eine reversible Einstellung einer Pumpe kann schnelle Maßnahmen erfordern, wenn die Anlage ausfällt.

109. Die richtige Auslegung hängt von der Schwere des Schadens, der Reaktionszeit und der Möglichkeit ab, das Verlorene wiederherzustellen.

110. Deshalb sagt die Forderung nach einem „Menschen im Regelkreis“ für sich genommen so wenig aus.

111. Der Ausdruck verrät uns nicht, ob die Person eine vorgeschlagene Maßnahme genehmigt, nach der Ausführung eine Warnung erhält oder lediglich die Verantwortung trägt, wenn das System versagt.

112. Er gibt keinen Aufschluss darüber, ob die Person ohne Sanktionen widersprechen, das relevante Signal verstehen oder die Steuerelemente rechtzeitig erreichen kann.

113. Sinnvolle Kontrolle muss sich durch den tatsächlichen Arbeitsablauf ziehen.

114. Man könnte einwenden, dass diese Nachverfolgung die Einführung von Systemen verlangsamt, die menschliche Fehler reduzieren können.

115. Die Diabetes-Studie untermauert diesen Einwand: Würden alle routinemäßigen Anpassungen einem Arzt oder Patienten vorbehalten, könnte dadurch ein messbarer Nutzen verloren gehen, den die kontinuierliche Automatisierung in der untersuchten Umgebung bot.

116. Die Antwort besteht darin, die gesamte Konstellation zu bewerten, einschließlich des Aufwands und der Fehler der Alternative.

117. Der tödliche Unfall hingegen kann weder eine Unfallrate für automatisierte Fahrzeuge liefern noch beweisen, dass ein menschlicher Fahrer immer besser gehandelt hätte.

118. Er zeigt eine bestimmte Konstellation aus unvollständiger Vorhersage, ausgefallener Schadensminderung und verspäteter menschlicher Rettung, deren Risiken während der Testphase nicht angemessen bewältigt wurden.

119. Beide Fälle erfordern präzisere Vergleiche als einen einfachen Wettstreit zwischen Maschine und Mensch.

120. Wer hat das Ziel festgelegt, welche Handlung wurde von der Berechnung in die Ausführung überführt, welche Rückmeldungen kamen aus der realen Welt, und wer hätte die Kette unterbrechen können, solange ein Eingreifen noch möglich war?

121. Auf der Straße in Tempe registrierte das System eine Person vor sich; das entscheidende fehlende Glied war ein wirksamer Weg von dieser Beobachtung hin zu rechtzeitiger Schutzmaßnahme.