10.1 – A döntéshozatali segédeszköztől a döntésig – Von der Entscheidungshilfe zur Entscheidung

1. 2016 augusztusában egy új mutató jelent meg a pennsylvaniai Allegheny megyei gyermekvédelmi segélyvonal munkájában.

2. Ez nem diagnózis volt.

3. A mutató adminisztratív nyilvántartásokra támaszkodott, hogy becsülje a későbbi elhelyezés vagy újabb bejelentés kockázatát, és a híváskezelők és felettesek láthatták az ebből származó pontszámot, miközben fontolóra vették az ügy továbbítását.

4. Azonnali döntést kellett hozni arról, hogy kivizsgálják-e azt a bejelentést – ezt a döntést még azelőtt kellett meghozni, hogy bárki is biztosan tudhatta volna, mire derül fény a további vizsgálat során .

5. A vizsgálat felfedhetett volna veszélyt, de az is előfordulhatott, hogy állami vizsgálat alá vonnak egy olyan családot, amely semmit sem tett rosszul .

6. A bejelentés kivizsgálásának elmulasztása másfajta kockázatot jelentett, mert egy figyelmen kívül hagyott figyelmeztetés miatt a gyermek segítség nélkül maradhatott volna, amíg újabb bejelentés nem érkezik .

7. A szám tehát olyan döntésbe került, amelynek következményeit nem lehetett pusztán a szám alapján felmérni.

8. A megyei tisztviselők a eszközt döntéshozatali segédeszköznek nevezték, és a legmagasabb pontszámokhoz egy feltűnő címke tartozott: „kötelező kivizsgálás”.

9. A címke véglegesnek hangzott.

10. A felügyelők azonban felülbírálhatták ezt a besorolást, rögzíthették a felülbírálatot, és felülvizsgálatot kezdeményezhettek; az eszköz első teljes évében az ebbe a kategóriába tartozó bejelentések csupán 63 százalékát választották ki ténylegesen vizsgálatra .

11. Ez a szám nem árulja el, hogy minden egyes felülbírálat helyes volt-e, mivel a vizsgálati arány önmagában nem tárja fel, mi történt a vizsgált vagy a vizsgálat nélkül hagyott otthonokban.

12. Azt viszont elárulja, hogy egy kötelezőnek tűnő szabály nem mindig döntötte el az ügyet .

13. Akkor hol született a döntés?

14. A válasz kevésbé attól függ, ki írta alá a végleges űrlapot, mint attól, hogy a szoftver mit tett valószínűvé, mit tudott a munkatárs ellenőrizni, és mi történt, miután a munkatárs nem értett egyet .

15. Vegyük figyelembe a legkevésbé kényszerítő megoldást: az információk megjelenítését.

16. A képernyőn megjelenhetnek a korábbi hívások dátumai, a bejelentés forrása és az ügynökség rendelkezésére álló adatok, így a munkatársra marad, hogy ezeket összekapcsolja .

17. A megjelenítés mégis irányítja a figyelmet, mert a munkatárs olyan tényekkel indul, amelyeket az interfészt tervező személy választott ki és rendezett el, gyakran még mielőtt a munkatárs beszélne bármelyik érintettel.

18. Ami a képernyőre fér, relevánsnak tűnhet, míg egy, csak a hívó fél számára ismert körülmény kívül maradhat az adatbázison, még akkor is, ha az a korábbi bejegyzések jelentését megváltoztatná.

19. Az információk megjelenítése már önmagában is a láthatóságról szóló döntés, még akkor is, ha a szoftver nem állapít meg kockázati pontszámot és nem javasol konkrét intézkedést .

20. Egy ajánlás ennél tovább megy, mivel a kiválasztott információkat javasolt következtetéssé alakítja, például kockázati pontszámmá vagy figyelmeztetéssé, hogy egy eset kivizsgálást igényel.

21. A munkatárs elfogadhatja vagy elutasíthatja azt, bár ennek a szabadságnak a gyakorlati jelentése attól függ, hogy a munkafolyamat mennyi ellentmondó bizonyítékot és időt biztosít .

22. Ez a választás csak akkor bír érdemi jelentéssel, ha a munkatárs elegendő információt lát az alapul szolgáló ügyről az ajánlás értékeléséhez, és rendelkezik a szükséges felhatalmazással ahhoz, hogy eltérjen tőle.

23. Alleghenyben a pontszámot még azelőtt generálták, hogy a szűrési döntés végleges lett volna.

24. A megye leírása szerint a felettesek figyelembe vették a bejelentő beszámolóját és a szűrő ajánlását is, míg a modell a közszolgáltatásokkal való korábbi kapcsolatokat lefedő adminisztratív adatokra támaszkodott .

25. Ezek különböző információforrások voltak, és a megyei eljárás összekapcsolta őket azon a ponton, ahol egy beérkező bejelentés nyomozássá válhatott.

26. Egy adminisztratív nyilvántartás következetesen rögzítheti a hatóságokkal való korábbi kapcsolatokat, de önmagában nem tudja megállapítani, mi történt aznap reggel a háztartáson belül.

27. A dokumentálatlan beszámoló sem feltétlenül hamis .

28. A lényeges kérdés az, hogy az eljárás melyik forrásnak engedi meg, hogy kijavítsa a másikat, mielőtt a család nyomozás alá kerülne, vagy a gyermek továbbra is veszélyben maradna .

29. A „magas pontszám” jelölés a eszközt a szokásos ajánláson túlra emelte.

30. Ez egy vélelmezett utat nyitott a nyomozás felé, amelyet a felügyelő felülírhatott.

31. Egy ilyen útvonal az alapértelmezett: az a kimenetel, amely bekövetkezik, hacsak valaki nem tesz további lépést .

32. Az alapértelmezett beállítások azért fontosak, mert a további lépésekhez időre, indokokra és gyakran arra a hajlandóságra is szükség van, hogy utólag kérdéseket tegyenek fel .

33. Ebben az esetben a megye előírta, hogy a felülírásokat dokumentálni és felülvizsgálni kell .

34. Ez a felülvizsgálat elszámoltathatóvá tehette az eltéréseket, de egyben nehezebbé is tette a pontszám félretételét, mint egy alkalmi javaslat esetében, mivel a felettesnek jegyzőkönyvet kellett készítenie a véleménykülönbségről .

35. Mindazonáltal a megfigyelt felülírások azt mutatják, hogy az eltérés több volt, mint egy kézikönyvben leírt lehetőség .

36. Nem szabad összetéveszteni ezt a modellalapú vélelmet azzal a külön jogi kötelezettséggel, hogy bizonyos súlyos bejelentéseket a pontszámtól függetlenül kivizsgáljanak, amelyre a felettes modell felülírása nincs hatással .

37. A megkülönböztetés azért fontos, mert a modelltervező módosíthat egy jelzést, míg a törvényes kötelezettség megváltoztatása más hatóságot és eljárást igényel.

38. A jogi követelmény, a modell magas kockázatú jelzése és a felettes eseti megítélése egyaránt a kivizsgálás irányába mutathat, de ezek különböző felhatalmazásokból fakadnak, és különböző típusú kifogásokat tesznek lehetővé.

39. Az alacsony pontszám sem jelentette azt, hogy a bejelentést le kell zárni .

40. A megye beszámolója szerint az első teljes év során még a legalacsonyabb pontszámú bejelentéseket is az esetek mintegy 30 százalékában kivizsgálták.

41. Az eredmény nem egy egyszerű hatalomátadás az embertől a gép felé .

42. Ez egy olyan folyamat, amelyben egy modell rangsorolja az ügyet, egy munkafolyamat bizonyos eredményeket kivételesnek jelöl meg, és egy felügyelő más utat választhat .

43. Minden láncszem megváltoztathatja az eredményt, még akkor is, ha egyetlen láncszem sem tűnik olyan pillanatnak, amikor a számítógép felváltaná az embert.

44. Ha a munkatárs látja az eredeti nyilvántartásokat és a hívó fél beszámolóját, a pontszám rávilágíthat olyan dolgokra, amelyek korábban könnyen elkerülhették a figyelmét, anélkül, hogy más bizonyítékokat semlegesítene.

45. Ha a felület elrejti ezeket a forrásokat, ugyanaz a pontszám ténynek álcázott következtetéssé válhat .

46. A képernyő kialakítása ugyanolyan fontos, mint a modellhez rendelt címke.

47. Ugyanezen a folytonosságon haladva egy kiszámított eredmény átléphet a javaslatból a döntésbe anélkül, hogy minden egyes esetet újra megítélnének .

48. Az automatikus döntés egy szabályt vagy kiszámított eredményt használ az ügy rendezésére anélkül, hogy az eredmény hatályba lépése előtt egy személynek jóvá kellene hagynia azt, még akkor is, ha az emberek jóváhagyták a rendszer általános működését.

49. Lehet, hogy egy ember írta a szabályt, engedélyezte a rendszert és fenntartotta magának a felülvizsgálati jogot, mégis az első hatályos válasz automatikusan érkezik.

50. A különbség időbeli és formai is, mivel egy hivatalos felszólítás után történő felülvizsgálat esetén az intézmény első válasza hetekig vagy hónapokig hatályban maradhat .

51. Az adósságértesítés, a juttatás elutasítása vagy a kérelem elutasítása utáni felülvizsgálat csak akkor következhet be, miután a címzettnek időt és pénzt kellett fordítania az eredmény visszavonására.

52. Az automatikus végrehajtás egy további lépéssel egészül ki: a rendszer a döntése alapján cselekszik azáltal, hogy értesítést küld, kifizetést felfüggeszt vagy tranzakciót kezdeményez .

53. Ekkor a címzett az eredményt intézményi cselekményként éli meg.

54. Egy hipotetikus beszerzési irodában a szoftvert felhatalmazhatják arra, hogy összehasonlítsa az ajánlatokat, a kiadási kereteken belül válasszon, és megrendelést adjon le anélkül, hogy egy alkalmazott jóváhagyását kérné az adott vásárláshoz.

55. Az emberek továbbra is meghatároznák a költségvetést és a célt, de a program saját maga több lépésen keresztül valósítaná meg a választást .

56. Ahhoz, hogy ez a hatalomátadás jelentőségteljes legyen, a gépnek nem kell önállóan célt követnie .

57. Egy rögzített számítás jelentős hatással bírhat, ha adatbázishoz, határidőhöz és hivatalos levélhez kapcsolódik .

58. Ez a kapcsolat fájdalmasan nyilvánvalóvá vált Ausztrália társadalombiztosítási kifizetésekre vonatkozó online megfelelési rendszerében .

59. A 2016 júliusában bevezetett, majd még abban az évben kibővített folyamat összehasonlította az adóhivatalnál nyilvántartott jövedelmi adatokat a szociális segélyügynökségnek bejelentett jövedelemmel .

60. Az eltérés vizsgálatot indíthatott el.

61. Az eltérés léte csupán információ volt, nem pedig bizonyíték arra, hogy a kedvezményezett tartozik.

62. A jogosultság az egyes kéthetes kifizetési időszakok jövedelmétől függött, míg az adónyilvántartások általában éves összegeket tartalmaztak .

63. Az éves összeg egyenlő elosztása ezekre az időszakokra az egyenetlen munkavégzést fiktív, állandó bérré alakíthatta .

64. Alkalmi munkát végző személy esetében egy helyes összegű év számos, egymástól jelentősen eltérő jövedelemmel rendelkező kéthetes időszakot tartalmazhat, így a helyes éves nyilvántartásnak nem feltétlenül kell pontosan leírnia egyetlen konkrét kifizetési időszakot sem.

65. A számítás pontos lehet, miközben az előfeltevés téves, mivel az éves átlag nem mutatja meg, hogy melyik konkrét kéthetes időszak hozott bért, és melyik nem .

66. Az ausztrál eljárás szerint az a személy, aki nem szolgáltatott elegendő időszakonkénti információt, az átlag alapján kiszámított adóssággal szembesülhetett .

67. A rendszer így egy vitatott következtetést vitt át a küszöbön túlra, az eltérésből a követelésbe .

68. A hiányzó részletek pótlásának terhe gyakran az értesítést kapó személyre hárult .

69. A Szövetségi Ombudsman által végzett vizsgálat leírta egy D. néven azonosított címzettet, akinek fizetési jegyzékei és munkaidő-naplója volt .

70. Ennek ellenére nehezen tudta beírni a vonatkozó kéthetes kereseteket az online űrlapba, amely olyan kérdéseket tett fel, amelyeket ő a birtokában lévő bizonyítékokhoz képest túl szűknek talált.

71. A rendszer ezután azt jelezte, hogy több mint kétezer ausztrál dollárral tartozik .

72. A bérjegyzékek figyelembevétele után a kiszámított tartozás alig több mint háromszáz dollárra csökkent .

73. Ezek az összegek egy dokumentált panaszhoz tartoznak, nem pedig egy tipikus esethez.

74. Jól mutatják, hogy a használható javítás mennyire függ attól, milyen úton jutnak el a bizonyítékok a felhatalmazott bírálóhoz.

75. Az űrlap nem csupán tényeket gyűjtött, mivel a benne szereplő kérdések határozták meg, hogy mely bizonyítékok kerülhetnek be az eljárásba, mielőtt az átlagot a döntés alapjául elfogadták .

76. Azzal, hogy egyes válaszokat könnyen elfogadott, más információk megadását pedig megnehezítette, befolyásolta, hogy D. asszony jövedelmének mely adatai kerültek be a számításba.

77. A folyamatban szerepelt emberi felülvizsgálat is, és a tisztviselők néha megváltoztatták az eredményeket.

78. Azonban a papíralapú felülvizsgálat lehetősége nem akadályozta meg, hogy az eredeti igény azokhoz is eljusson, akiknek a tényleges fizetése az év során változott .

79. Az eset nem igényli egy önállóan működő intelligencia elképzelését.

80. Az ausztrál rendszer ötvözte az adatösszevetést, az adminisztratív szabályokat, az online űrlapokat, az értesítéseket és azokat a döntéseket, hogy a kedvezményezetteknek milyen bizonyítékokat kell benyújtaniuk.

81. Erőssége ebből a kombinációból fakadt, amely egy matematikai rövidítést ötvözött egy olyan hivatalos eljárással, amely képes volt egy személy ellen követelést támasztani .

82. 2023-ban egy királyi bizottság vizsgálta a rendszert és a jövedelemátlagolás jogellenes alkalmazását az adósságok megállapításához, és egyértelműbb felülvizsgálati útvonalakat, valamint az automatizált döntések független ellenőrzését szorgalmazta.

83. Ezt a későbbi megállapítást nem szabad azoknak az embereknek a fejébe helyezni, akik 2016-ban kapták meg az eredeti értesítéseket.

84. Ők a kormány követelésével szembesültek, és nekik kellett kideríteniük, miért született az .

85. Az intézményi útvonalak most eltérnek egymástól .

86. Az Allegheny-ügyben egy magas pontszám a vizsgálat mellett szólhatott, miközben a felettes még mindig másképp dönthetett, mielőtt az a szűrési döntés hatályba lépett volna.

87. Az ausztrál eljárásban a kiszámított adósság hivatalos követeléssé válhatott, mielőtt a címzettnek sikerült volna benyújtania azokat a jövedelmi adatokat, amelyek megváltoztathatták volna azt, így a helyesbítés terhét a címzettre hárítva.

88. Mindkét rendszerben voltak olyanok, akik meghatározták a célokat, kiválasztották a szabályokat, működtették a szolgáltatást vagy felülvizsgálták az egyes eseteket, bár a téves következmények megelőzésére irányuló lehetőségeik élesen eltértek egymástól.

89. A különbség abban állt, hogy mikor nyert egy ideiglenes eredmény gyakorlati hatályt, és kinek kellett cselekednie annak megakadályozása érdekében.

90. Az összehasonlítás a láthatóságon, az alapértelmezésen, a súrlódáson és az elszámoltathatóságon alapul.

91. Mielőtt cselekedne, az embernek látnia kell, hogy a rendszer milyen bizonyítékokat használt fel, és milyen releváns információkat hagyott ki .

92. Az alapértelmezés akkor számít, ha beavatkozás hiányában a pontszám az ügy kimenetelévé válik, míg a kifogás emeléséhez szükséges erőfeszítés határozza meg, hogy egy kijelentett szabadság használható-e .

93. Egy intézmény megkövetelheti egy munkatárstól, aki eltér a pontszámtól, hogy magyarázza meg az eltérést, ugyanakkor nem követelhet hasonló magyarázatot, ha a pontszámot követik .

94. A felelősség így az eltérő véleményt képviselőre hárul .

95. Ezek a kérdések még egy egyszerű, számítógéppel rendezett listára is vonatkoznak .

96. Ha egy hatóság a határidő előtt csak az első ötven kérelmet tudja megvizsgálni, akkor az az rangsor, amely meghatározza ezt az ötvenet, egyben azt is meghatározza, mely ügyek kapnak figyelmet .

97. Nem szükséges, hogy a rangsor bármelyik kérelmet hivatalosan elutasítson ahhoz, hogy a sorrendnek jelentősége legyen.

98. A választás elrejtőzhet egy várólistán, ahol a rangsor már jóval azelőtt elosztja a szűkös személyzeti figyelmet, hogy bárki aláírná az elutasítást vagy a jóváhagyást.

99. Hasonlóképpen, egy olyan szoftveres javaslat, amelyet egy kattintással lehet elfogadni, de elutasításához több képernyőn kell végigmenni, nagyobb hatással van az eredményekre, mint amit egy semlegesnek tűnő címke elárul

100. Ez az eljárás egyik jellemzője, nem pedig az a vád, hogy minden munkavállaló gondatlan lenne, mert a kialakítás megváltoztatja az egyetértés vagy az ellenkezés költségét mindenki számára, aki használja

101. Egyes alapértelmezett beállítások erőfeszítést takarítanak meg azzal, hogy a rutin eseteket következetesen kezelik, így a személyzetnek több ideje marad a szokatlan esetekre, amelyekhez olyan kontextus szükséges, amelyet egyetlen rögzített szabály sem tud könnyen lefedni.

102. Az automatikus számítások emellett olyan számtani hibákat is kiszűrhetnek, amelyeket egyébként a fáradt emberek ismételnének.

103. A releváns összehasonlítást az általa felváltott tényleges emberi és intézményi folyamattal kell elvégezni – beleértve annak késedelmeit és következetlenségeit is –, nem pedig egy olyan elképzelt ügyintézővel, aki soha nem hagy ki egy aktát sem, és soha nem követ el számítási hibát.

104. A következetesség azonban csak akkor erény, ha az alapul szolgáló szabály illeszkedik az esethez .

105. Ugyanazon hibás jövedelmi feltételezés alkalmazása több ezer nyilvántartási bejegyzésre ugyanazt a hibát reprodukálja olyan mértékben, amelyet egyetlen ügyintéző sem tudna elérni.

106. Egy azonos felület rendezettnek tűnhet ilyen hibák esetén .

107. Az Allegheny-ügy hasznos ellenbizonyítékot nyújt minden olyan könnyelmű állításra, miszerint a megjelenített pontszám elkerülhetetlenül irányítja a munkavállalót.

108. A rendszer használatát vizsgáló kutatók arról számoltak be, hogy a munkatársak tényleges szűrési döntései kisebb eltérést mutattak a fekete és fehér gyermekek kivizsgálási aránya között, mint az algoritmus által önmagában szimulált döntés.

109. Ez az összehasonlítás a vizsgált esetekre és mutatókra vonatkozik; nem bizonyítja, hogy minden felülbírálat igazságos volt, hogy minden gyermeknek jobb szolgáltatást nyújtottak, vagy hogy ugyanaz a minta máshol is megjelenne.

110. A felülbírálati arány sem árulkodik azokról az esetekről, amelyeket a rendszer soha nem jelölt meg.

111. A pontszámot mégis érdemes alaposan megvizsgálni, mert a rendelkezésre álló adatok és a jósláshoz kiválasztott kimenetelek meghatározzák, mit tud észrevenni, és későbbi emberi ítélet sem tudja helyreállítani azokat az információkat, amelyeket soha nem gyűjtöttek össze.

112. A modell és az átadás vizsgálata azonban különböző feladatok, mivel egy statisztikailag hasznos pontszámnak a környező eljárás még így is túl nagy hatalmat adhat.

113. Az egyik azt vizsgálja, hogyan jön létre egy érték.

114. A másik azt vizsgálja, mikor tekinti az intézmény ezt az értéket elegendőnek a cselekvéshez .

115. Tegyük fel, hogy egy munkatárs minden döntést aláír, miután a pontszámrendszer már osztályozta az eseteket, megadta az alapértelmezett értéket, és gyakorlatilag nem hagyott időt az akták újbóli megnyitására .

116. Az aláírás azonosítja a személyt, de önmagában nem bizonyítja, hogy az illető irányította az eredményt.

117. Ezzel szemben egy gondosan korlátozott automatikus művelet is jelentős ellenőrzést hagyhat az emberek kezében, ha a hibák korán észrevehetők, a művelet megállítható, mielőtt súlyos következmények lépnének fel, és a felelősök azonosítani tudják, melyik szabály eredményezte az eredményt.

118. A hasznos határ tehát nem egy, a gép köré húzott vonal.

119. Ott húzódik, ahol a kijelzett érték feltételezett válasszá válik, ahol a feltételezett válasz hivatalos cselekménnyé válik, és ahol a korrekció már nem érkezhet meg, mielőtt a cselekmény végrehajtásra kerülne .

120. Egy gyermekvédelmi képernyőn az összeg továbbra is a felügyelő megítélésére bízható; egy adósságértesítőn viszont egy átlagolt szám már a kormány nevében szólhat.

1. Im August 2016 tauchte eine neue Kennzahl in der Arbeit einer Kinderschutz-Hotline im Allegheny County, Pennsylvania, auf.

2. Es handelte sich nicht um eine Diagnose.

3. Sie stützte sich auf Verwaltungsunterlagen, um das Risiko einer späteren Unterbringung oder einer erneuten Meldung abzuschätzen, und die Call-Center-Mitarbeiter sowie die Vorgesetzten konnten die daraus resultierende Bewertung einsehen, während sie über eine Weiterleitung nachdachten.

4. Die unmittelbare Entscheidung bestand darin, ob dieser Hinweis untersucht werden sollte – eine Entscheidung, die getroffen wurde, bevor irgendjemand mit Sicherheit wissen konnte, was weitere Ermittlungen ergeben würden .

5. Eine Untersuchung könnte eine Gefahr aufdecken, aber sie könnte auch staatliche Kontrollen für eine Familie nach sich ziehen, die nichts Unrechtes getan hatte.

6. Einen Hinweis ununtersucht zu lassen, barg ein anderes Risiko, denn eine übersehene Warnung könnte dazu führen, dass ein Kind außerhalb der Reichweite von Hilfe bleibt, bis ein weiterer Hinweis eingeht .

7. Die Zahl war somit Teil einer Entscheidung, deren Folgen sich nicht allein anhand der Zahl abschätzen ließen.

8. Die Bezirksbeamten bezeichneten das Tool als Entscheidungshilfe, und die höchsten Werte waren mit einer auffälligen Kennzeichnung versehen: „obligatorische Überprüfung“.

9. Die Kennzeichnung klang endgültig.

10. Dennoch konnten Vorgesetzte diese Einstufung außer Kraft setzen, die Außerkraftsetzung protokollieren und eine Überprüfung veranlassen; im ersten vollen Jahr des Einsatzes des Tools wurden nur 63 Prozent der Meldungen dieser Kategorie tatsächlich zur Untersuchung ausgewählt .

11. Diese Zahl sagt nichts darüber aus, ob jede Außerkraftsetzung sinnvoll war, da die Untersuchungsquote allein nicht offenlegen kann, was in den Haushalten geschah, die entweder untersucht oder unberücksichtigt blieben.

12. Sie sagt uns jedoch, dass eine als verbindlich dargestellte Regel nicht ausnahmslos über den Fall entschied.

13. Wo lag dann die Entscheidungsgewalt?

14. Die Antwort hängt weniger davon ab, wer das endgültige Formular unterzeichnet hat, als vielmehr davon, was die Software als wahrscheinlich einstufte, was ein Mitarbeiter überprüfen konnte und was geschah, nachdem ein Mitarbeiter widersprochen hatte .

15. Betrachten wir die am wenigsten zwingende Regelung: eine Anzeige von Informationen.

16. Ein Bildschirm könnte die Daten früherer Anrufe, die Quelle einer Meldung und die der Behörde vorliegenden Unterlagen anzeigen, wobei es dem Mitarbeiter überlassen bleibt, diese miteinander in Verbindung zu bringen.

17. Die Darstellung lenkt dennoch die Aufmerksamkeit, denn der Mitarbeiter beginnt mit einer Reihe von Fakten, die von jemandem ausgewählt und angeordnet wurden, der die Benutzeroberfläche entworfen hat – oft noch bevor der Mitarbeiter mit einer der beteiligten Personen spricht .

18. Was auf den Bildschirm passt, mag relevant erscheinen, während ein Umstand, der nur dem Anrufer bekannt ist, außerhalb der Datenbank bleiben kann, selbst wenn dieser Umstand die Bedeutung früherer Datensätze verändern würde .

19. Die Darstellung von Informationen ist bereits eine Entscheidung über die Sichtbarkeit, selbst wenn die Software keine Risikobewertung erstellt und keine konkreten Maßnahmen vorschlägt .

20. Eine Empfehlung geht noch einen Schritt weiter, indem sie ausgewählte Informationen in eine vorgeschlagene Schlussfolgerung umwandelt, wie beispielsweise eine Risikobewertung oder einen Hinweis darauf, dass ein Fall einer Untersuchung bedarf.

21. Der Mitarbeiter kann diese annehmen oder ablehnen, wobei die praktische Bedeutung dieser Freiheit davon abhängt, wie viel gegenteiliges Beweismaterial und wie viel Zeit der Arbeitsablauf zur Verfügung stellt .

22. Diese Entscheidung hat nur dann Substanz, wenn der Mitarbeiter genug von dem zugrunde liegenden Fall einsehen kann, um die Empfehlung zu bewerten, und die Befugnis hat, davon abzuweichen.

23. Bei Allegheny wurde die Bewertung generiert, bevor eine Screening-Entscheidung endgültig getroffen wurde.

24. Der Beschreibung des Landkreises zufolge berücksichtigten die Vorgesetzten auch die Schilderung des Anrufers und die Empfehlung des Prüfers, während das Modell auf Verwaltungsdaten zurückgriff, die frühere Kontakte mit öffentlichen Stellen abdeckten.

25. Dies waren unterschiedliche Informationsquellen, und der Prozess des Landkreises brachte sie an dem Punkt zusammen, an dem aus einer eingehenden Meldung eine Untersuchung werden konnte.

26. Eine Verwaltungsakte mag frühere Kontakte mit Behörden konsistent erfassen, kann aber für sich allein nicht feststellen, was an jenem Morgen in einem Haushalt geschehen ist.

27. Auch ist ein nicht dokumentierter Bericht nicht zwangsläufig falsch .

28. Die entscheidende Frage ist, welche Quelle ein Verfahren zulässt, um eine andere zu korrigieren, bevor eine Familie einer Untersuchung ausgesetzt wird oder ein Kind weiterhin gefährdet bleibt .

29. Die Einstufung als „High-Score“ hob das Tool über eine gewöhnliche Empfehlung hinaus .

30. Sie schuf einen mutmaßlichen Weg in die Untersuchung, wobei einem Sachbearbeiter die Möglichkeit zur außer Kraftsetzung offenstand.

31. Ein solcher Weg ist eine Standardvorgehensweise: das Ergebnis, das eintritt, sofern nicht jemand einen zusätzlichen Schritt unternimmt.

32. Standardvorgehensweisen sind von Bedeutung, da zusätzliche Schritte Zeit, Begründungen und oft die Bereitschaft erfordern, sich anschließend Fragen stellen zu lassen .

33. In diesem Fall verlangte der Landkreis, dass eine außer Kraftsetzung dokumentiert und überprüft werden musste .

34. Diese Überprüfung konnte Abweichungen nachvollziehbar machen, erschwerte es aber auch, die Bewertung beiseite zu schieben – anders als bei einem beiläufigen Vorschlag –, da ein Vorgesetzter eine Aufzeichnung über die Meinungsverschiedenheit erstellen musste .

35. Dennoch zeigen die beobachteten Abweichungen, dass eine Abweichung mehr war als eine in einem Handbuch festgehaltene Möglichkeit.

36. Man darf diese modellbasierte Vermutung nicht mit einer gesonderten gesetzlichen Pflicht verwechseln, bestimmte schwerwiegende Meldungen unabhängig von der Bewertung zu untersuchen, für die die Abweichung eines Vorgesetzten vom Modell keine Auswirkungen hätte .

37. Die Unterscheidung ist von Bedeutung, da ein Modellentwickler eine Markierung ändern kann, während die Änderung einer gesetzlichen Pflicht eine andere Befugnis und ein anderes Verfahren erfordert.

38. Eine gesetzliche Vorschrift, die Hochrisikokennzeichnung eines Modells und die Fallbeurteilung eines Vorgesetzten können zwar alle auf eine Untersuchung hindeuten, beruhen jedoch auf unterschiedlichen Befugnissen und lassen unterschiedliche Arten der Anfechtung zu.

39. Auch eine niedrige Punktzahl war kein Befehl, eine Meldung zu schließen.

40. Nach Angaben des Landkreises wurden in jenem ersten vollen Jahr sogar etwa 30 Prozent der Meldungen mit den niedrigsten Punktzahlen untersucht.

41. Das Ergebnis ist keine saubere Machtübergabe von Mensch auf Maschine.

42. Es handelt sich um einen Ablauf, bei dem ein Modell einen Fall einstuft, ein Workflow bestimmte Ergebnisse als außergewöhnlich kennzeichnet und ein Vorgesetzter möglicherweise einen anderen Weg wählt.

43. Jedes Glied in dieser Kette kann das Ergebnis beeinflussen, auch wenn kein einzelnes Glied wie der Moment aussieht, in dem ein Computer einen Menschen ersetzt.

44. Wenn ein Mitarbeiter die Originalunterlagen und die Angaben des Anrufers einsehen kann, kann eine Bewertung etwas aufdecken, das zuvor leicht zu übersehen war, ohne andere Beweise außer Acht zu lassen.

45. Wenn die Benutzeroberfläche diese Quellen verbirgt, kann dieselbe Bewertung zu einer als Tatsache getarnten Schlussfolgerung werden .

46. Die Gestaltung des Bildschirms ist ebenso wichtig wie die Bezeichnung des Modells.

47. Weiter entlang desselben Kontinuums kann ein berechnetes Ergebnis vom Vorschlag zur Entscheidung gelangen, ohne dass in jedem Einzelfall eine neue Beurteilung erfolgt .

48. Eine automatische Entscheidung nutzt eine Regel oder ein berechnetes Ergebnis, um den Fall zu klären, ohne dass eine Person jedes Ergebnis genehmigen muss, bevor es in Kraft tritt – auch wenn Menschen die allgemeine Funktionsweise des Systems genehmigt haben .

49. Ein Mensch mag die Regel verfasst, das System autorisiert und sich ein Überprüfungsrecht vorbehalten haben, doch die erste verbindliche Antwort erfolgt automatisch.

50. Die Unterscheidung ist sowohl zeitlicher als auch formaler Natur, da eine Überprüfung, die nach einer offiziellen Aufforderung erfolgt, dazu führen kann, dass die erste Antwort der Institution wochen- oder monatelang in Kraft bleibt .

51. Eine Überprüfung nach einer Zahlungsaufforderung, einer abgelehnten Leistung oder einem abgeschlossenen Antrag kann erst erfolgen, nachdem der Empfänger Zeit und Geld aufwenden musste, um das Ergebnis rückgängig zu machen .

52. Die automatische Ausführung fügt einen weiteren Schritt hinzu: Das System setzt seine Entscheidung um, indem es die Mitteilung versendet, eine Zahlung stoppt oder eine Transaktion einleitet.

53. An diesem Punkt erlebt der Empfänger das Ergebnis als institutionellen Akt.

54. In einer hypothetischen Einkaufsabteilung könnte eine Software befugt sein, Angebote zu vergleichen, innerhalb eines Ausgabenlimits eine Auswahl zu treffen und eine Bestellung aufzugeben, ohne einen Mitarbeiter um die Genehmigung dieses bestimmten Kaufs zu bitten.

55. Menschen würden zwar weiterhin das Budget und den Zweck festlegen, doch das Programm würde die Entscheidung durch mehrere eigenständige Handlungen in die Tat umsetzen .

56. Die Maschine muss kein Ziel eigenständig verfolgen, damit diese Machtübertragung von Bedeutung ist.

57. Eine festgelegte Berechnung kann beträchtliche Wirkung entfalten, wenn sie mit einer Datenbank, einer Frist und einem offiziellen Schreiben verknüpft ist.

58. Diese Verknüpfung wurde im australischen Online-Kontrollsystem für Sozialleistungen schmerzlich deutlich.

59. Das im Juli 2016 eingeführte und später im selben Jahr erweiterte Verfahren verglich die beim Finanzamt gespeicherten Einkommensdaten mit den bei der Sozialbehörde gemeldeten Einkünften .

60. Eine Diskrepanz konnte eine Untersuchung auslösen.

61. Das Vorliegen einer Diskrepanz war lediglich eine Information, kein Beweis dafür, dass ein Empfänger Geld schuldete.

62. Die Anspruchsberechtigung hing von den Einkünften in bestimmten zweiwöchigen Zahlungszeiträumen ab, während Steuerunterlagen in der Regel Jahresgesamtbeträge lieferten.

63. Die gleichmäßige Aufteilung eines Jahresgesamtbetrags auf diese Zeiträume konnte unregelmäßige Arbeit in ein fiktives regelmäßiges Einkommen verwandeln .

64. Für jemanden mit Gelegenheitsjobs kann ein Jahr mit dem korrekten Gesamtbetrag viele zweiwöchige Zeiträume mit sehr unterschiedlichen Einkünften enthalten, sodass eine korrekte Jahresaufstellung nicht unbedingt einen bestimmten Zahlungszeitraum korrekt wiedergeben muss.

65. Die Berechnung mag zwar exakt sein, während die Prämisse falsch ist, da ein Jahresdurchschnitt nicht zeigen kann, in welchem konkreten zweiwöchigen Zeitraum ein Lohn gezahlt wurde und in welchem nicht .

66. Nach dem australischen Verfahren konnte einer Person, die nicht genügend Informationen für jeden einzelnen Zeitraum vorlegte, eine anhand dieses Durchschnitts berechnete Schuld auferlegt werden.

67. Das System übertrug somit eine umstrittene Schlussfolgerung über die Schwelle von der Diskrepanz zum Anspruch hinweg.

68. Die Last, die fehlenden Details zu ergänzen, lag oft bei der Person, die den Bescheid erhielt.

69. Eine Untersuchung des Commonwealth-Ombudsmanns beschrieb eine Empfängerin, identifiziert als Frau D., die über Lohnabrechnungen und ein Arbeitszeitprotokoll verfügte.

70. Dennoch hatte sie Schwierigkeiten, die relevanten zweiwöchentlichen Einkünfte in das Online-Formular einzutragen, da die dort gestellten Fragen für die ihr vorliegenden Nachweise zu eng gefasst waren.

71. Das System gab daraufhin an, sie schulde mehr als zweitausend australische Dollar.

72. Nachdem ihre Gehaltsabrechnungen berücksichtigt worden waren, sank die berechnete Schuld auf etwas mehr als dreihundert Dollar.

73. Diese Beträge beziehen sich auf eine dokumentierte Beschwerde und stellen keinen typischen Fall dar.

74. Sie zeigen, wie sehr eine sinnvolle Korrektur davon abhängt, auf welchem Weg die Nachweise den zuständigen Prüfer erreichen.

75. Das Formular diente nicht lediglich der Erfassung von Fakten, da seine Fragen bestimmten, welche Nachweise in das Verfahren einfließen konnten, bevor der Durchschnittswert als Grundlage für die Entscheidung herangezogen wurde .

76. Indem bestimmte Antworten problemlos akzeptiert wurden, während die Angabe anderer Informationen erschwert wurde, beeinflusste es, welche Angaben zu den Einkünften von Frau D. in die Berechnung einflossen.

77. Es gab zwar eine menschliche Überprüfung im Verfahren, und Beamte änderten manchmal die Ergebnisse.

78. Doch die Möglichkeit einer Überprüfung auf Papier verhinderte nicht, dass der ursprüngliche Antrag Personen erreichte, deren tatsächliches Einkommen im Laufe des Jahres schwankte .

79. Der Fall erfordert keine Vorstellung einer selbstgesteuerten Intelligenz.

80. Das australische System kombinierte Datenabgleich, Verwaltungsvorschriften, Online-Formulare, Bescheide und Entscheidungen darüber, welche Nachweise die Empfänger vorlegen mussten.

81. Seine Wirksamkeit beruhte auf dieser Kombination, die eine mathematische Abkürzung mit einem behördlichen Verfahren verband, das in der Lage war, einen Anspruch gegen eine Einzelperson geltend zu machen.

82. Im Jahr 2023 untersuchte eine königliche Kommission das System und die unrechtmäßige Verwendung der Einkommensmittelung allein zur Feststellung von Schulden und forderte klarere Wege zur Überprüfung sowie eine unabhängige Kontrolle automatisierter Entscheidungen.

83. Diese spätere Erkenntnis darf nicht den Menschen zugeschrieben werden, die 2016 die ersten Bescheide erhielten.

84. Sie sahen sich mit einer Forderung der Regierung konfrontiert und mussten herausfinden, warum diese gestellt worden war .

85. Die institutionellen Wege trennen sich nun.

86. Im Fall „Allegheny“ konnte eine hohe Punktzahl eine Untersuchung begünstigen, während ein Vorgesetzter noch eine andere Entscheidung traf, bevor diese Vorauswahl wirksam wurde.

87. Im australischen Verfahren konnte eine berechnete Schuld zu einer offiziellen Forderung werden, bevor es dem Empfänger gelang, die Einkommensangaben vorzulegen, die diese hätten ändern können, wodurch die Last der Korrektur auf die angesprochene Person verlagert wurde.

88. Beide Systeme umfassten Personen, die die Ziele festlegten, die Regeln wählten, den Dienst betreibten oder einzelne Fälle prüften, obwohl sich ihre Möglichkeiten, eine fehlerhafte Konsequenz zu verhindern, stark unterschieden.

89. Was sich unterschied, war der Zeitpunkt, zu dem ein vorläufiges Ergebnis praktische Gültigkeit erlangte, und wer handeln musste, um es zu stoppen.

90. Der Vergleich dreht sich um Sichtbarkeit, Standardverfahren, Reibung und Rechenschaftspflicht.

91. Bevor eine Person handeln kann, muss sie erkennen, welche Nachweise das System herangezogen und welche relevanten Informationen es ausgelassen hat.

92. Eine Voreinstellung ist von Bedeutung, wenn ohne Eingreifen eine Bewertung zum Ergebnis eines Falles wird, während der Aufwand, der für einen Einspruch erforderlich ist, darüber entscheidet, ob eine erklärte Freiheit nutzbar ist.

93. Eine Institution kann von einem Mitarbeiter, der von einer Bewertung abweicht, eine Erklärung für diese Abweichung verlangen, während sie keine vergleichbare Erklärung verlangt, wenn die Bewertung befolgt wird .

94. Die Verantwortung verlagert sich dann auf den Abweichler .

95. Diese Fragen gelten sogar für eine einfache, vom Computer sortierte Liste.

96. Wenn eine Behörde vor Ablauf einer Frist nur die ersten fünfzig Anträge prüfen kann, bestimmt eine Rangfolge, die diese fünfzig festlegt, auch, welche Fälle Beachtung finden.

97. Kein Antrag muss durch die Rangfolge formell abgelehnt werden, damit die Reihenfolge von Bedeutung ist.

98. Die Entscheidung kann sich in einer Warteschlange verbergen, wo eine Rangfolge die knappe Aufmerksamkeit des Personals lange bevor jemand eine Ablehnung oder Genehmigung unterzeichnet, zuteilt.

99. Ebenso hat ein Softwarevorschlag, dessen Annahme nur einen Klick erfordert, dessen Ablehnung jedoch mehrere Bildschirmschritte, einen stärkeren Einfluss auf die Ergebnisse, als eine neutral wirkende Beschriftung vermuten lässt.

100. Dies ist ein Merkmal des Verfahrens und keine Behauptung, dass jeder Mitarbeiter nachlässig ist, denn die Gestaltung verändert die Kosten der Zustimmung oder Ablehnung für jeden, der sie nutzt .

101. Manche Voreinstellungen sparen Aufwand, indem sie Routinefälle einheitlich behandeln, sodass den Mitarbeitern mehr Zeit für ungewöhnliche Fälle bleibt, die einen Kontext erfordern, den keine feste Regel leicht erfassen kann.

102. Eine automatische Berechnung kann zudem Rechenfehler aufdecken, die sonst von müden Menschen wiederholt würden.

103. Der relevante Vergleich erfolgt mit dem tatsächlichen menschlichen und institutionellen Prozess, den sie ersetzt – einschließlich seiner Verzögerungen und Inkonsistenzen –, und nicht mit einem imaginären Sachbearbeiter, der niemals eine Akte übersieht oder einen Rechenfehler macht.

104. Doch Konsistenz ist nur dann eine Tugend, wenn die zugrunde liegende Regel zum jeweiligen Fall passt.

105. Die Anwendung derselben fehlerhaften Einkommensannahme auf Tausende von Datensätzen reproduziert denselben Fehler in einem Ausmaß, das kein einzelner Sachbearbeiter erreichen könnte .

106. Eine identische Benutzeroberfläche kann solche Fehler geordnet erscheinen lassen .

107. Der Allegheny-Datensatz liefert eine nützliche Gegenprüfung zu jeder leichtfertigen Behauptung, dass eine angezeigte Punktzahl den Mitarbeiter unweigerlich lenkt.

108. Forscher, die dessen Einsatz untersuchten, berichteten, dass die tatsächlichen Auswahlentscheidungen der Mitarbeiter einen geringeren Unterschied zwischen den Untersuchungsquoten schwarzer und weißer Kinder zeigten als eine allein durch den Algorithmus simulierte Entscheidung.

109. Dieser Vergleich bezieht sich auf die untersuchten Fälle und Messgrößen; er kann nicht belegen, dass jede Übersteuerung fair war, dass jedem Kind besser gedient wurde oder dass sich dasselbe Muster anderswo zeigen würde.

110. Ebenso wenig kann eine Übersteuerungsrate Aufschluss über die Qualität der Fälle geben, die das System nie markiert hat.

111. Der Score verdient dennoch eine genaue Prüfung, da die ihm zur Verfügung stehenden Unterlagen und die für die Vorhersage ausgewählten Ergebnisse beeinflussen, was er erkennen kann, und kein späteres menschliches Urteil Informationen wiederherstellen kann, die nie erfasst wurden.

112. Die Prüfung des Modells und die Prüfung der Übergabe sind jedoch unterschiedliche Aufgaben, da einem statistisch aussagekräftigen Score durch das umgebende Verfahren möglicherweise immer noch zu viel Gewicht beigemessen wird.

113. Die eine Frage lautet, wie ein Wert ermittelt wird .

114. Die andere fragt, wann die Institution diesen Wert als ausreichend ansieht, um zu handeln.

115. Angenommen, ein Mitarbeiter unterzeichnet jede Entscheidung, nachdem ein Score die Fälle sortiert, einen Standardwert vorgegeben und praktisch keine Zeit mehr gelassen hat, die Akte erneut zu öffnen.

116. Die Unterschrift identifiziert eine Person, zeigt aber für sich genommen nicht, dass diese Person das Ergebnis kontrolliert hat.

117. Umgekehrt kann eine sorgfältig abgegrenzte automatisierte Handlung den Menschen sinnvolle Kontrolle belassen, wenn Fehler frühzeitig sichtbar werden, die Handlung gestoppt werden kann, bevor schwerwiegende Folgen eintreten, und die Verantwortlichen erkennen können, welche Regel das Ergebnis hervorgebracht hat.

118. Die sinnvolle Grenze ist daher keine Linie, die um die Maschine gezogen wird.

119. Sie liegt dort, wo ein angezeigter Wert zu einer mutmaßlichen Antwort wird, wo die mutmaßliche Antwort zu einem offiziellen Akt wird und wo eine Korrektur nicht mehr eintreffen kann, bevor der Akt seine Wirkung entfaltet.

120. Auf einem Bildschirm zur Kinderschutzüberwachung kann die Zahl noch dem Ermessen eines Vorgesetzten unterliegen; auf einem Mahnbescheid spricht ein Durchschnittswert möglicherweise bereits mit der Stimme der Regierung.