15.9.3 Digitális élettér és mesterséges intelligencia: új kérdések a tudásról és a cselekvési képességről – Digitale Lebenswelten und künstliche Intelligenz: Neue Fragen nach Wissen und Handlungsmacht

1. Egy pályázónő néhány óra múlva értesítést kap arról, hogy nem veszik figyelembe az álláspályázatra, de ebben a hipotetikus esetben a döntést sem egy azonosítható személy írta alá, sem pedig nem indokolták érthető módon.

2. Pályázati anyagait egy adat alapú rendszer értékelte, amely a korábbi személyzeti döntésekből szabályszerűségeket tanult ki, és ezek alapján rangsort állított fel az új pályázatok közül.

3. Lehet, hogy a rendszer statisztikai értelemben megbízhatóan működik, mert rangsora gyakran egybeesik a tapasztalt személyzeti vezetők későbbi ítéletével.

4. Az elutasított személy számára azonban továbbra is tisztázatlan marad, hogy mely tulajdonságai szóltak ellene, egyáltalán jelentősek voltak-e ezek a tulajdonságok az állás szempontjából, és kihez fordulhat kifogásával.

5. Pontosan azért, mert nincs látható robot és nincs látványos jövőbeli technológia, egy ilyen eljárás egyenesen a mesterséges intelligencia filozófiai problémáinak középpontjába vezet.

6. Ez nem csupán a döntéshozatal sebességét változtatja meg, hanem azokat a feltételeket is, amelyek mellett az emberek azt hiszik, hogy ismerik a többieket, és felelősséget kell vállalniuk cselekedeteik következményeiért.

7. A tudás, a döntés és a felelősség – amelyek már egy személyes találkozás során is nehezen választhatók szét – most adatbázisokra, matematikai modellekre, technológiai szolgáltatókra és intézményekre oszlanak szét.

8. A döntő kérdés ezért nem egyszerűen az, hogy egy gép okos-e vagy veszélyes-e.

9. Inkább azt kell tisztázni, hogy egy rendszer valójában milyen teljesítményt nyújt, milyen emberi ítéletek épültek be a felépítésébe, és milyen cselekvési lehetőségeket nyit meg vagy von el az egyes személyek számára az alkalmazása.

10. Csak ezek a megkülönböztetések akadályozzák meg, hogy a technikai csodálat és az általános technológiai félelem ugyanazt a fogalmi űrt leplezzék el.

11. Az algoritmus elsősorban egy véges és rendezett szabályrendszer, amely a bemeneti adatokat meghatározott kimeneti adatokká alakítja át, míg a modell egy egyszerűsített struktúrát ábrázol, amelynek segítségével egy rendszer mintákat ismer fel vagy előrejelzéseket készít.

12. Számos gépi tanulási eljárásnál a döntő hozzárendeléseket nem a programozók határozzák meg egyenként, hanem számításos úton, számos példa – az úgynevezett edzési adatok – alapján igazítják hozzá.

13. Ezek az adatok nem a valóság közvetlen másolatai, hiszen már maguk az adatgyűjtés során is döntéseket kell hozni arról, hogy mit mérünk, mely kategóriákba sorolunk be, és mit tekintünk sikeres eredménynek.

14. Ha egy modellnek például a szakmai sikert kell előre jeleznie, akkor előbb meg kell határozni, hogy a sikert a munkaviszony időtartama, az árbevétel, a felettesek értékelése vagy más célmutató alapján mérjük-e.

15. Minden választás valamit figyelembe vesz, másokat pedig figyelmen kívül hagy, így egy pontos számítás is megkérdőjelezhető célkitűzésen alapulhat.

16. Ebben az összefüggésben torzításnak (bias) nevezzük azt a szisztematikus eltérést, amely többek között egyoldalú adatokból, nem megfelelő kategóriákból vagy az eljárás kialakításából származhat.

17. A korábbi személyzeti akták korábbi hátrányos megkülönböztetéseket tartalmazhatnak, még akkor is, ha olyan jellemzőket, mint a nem vagy a származás, eltávolítanak egy új adatkészletből.

18. Más adatok összefüggésben állhatnak ilyen jellemzőkkel, és ezért közvetett helyettesítőként működhetnek anélkül, hogy a rendszer megértené ezeknek az összefüggéseknek a társadalmi jelentőségét.

19. Az, hogy egy adott eljárás valóban hátrányos-e, nem vezethető le kizárólag általános figyelmeztetésekből, hanem az adatok, a hibák eloszlása és az alkalmazási feltételek empirikus vizsgálatát igényli.

20. A filozófiai elemzés azonban már korábban kezdődik, mert azt a kérdést veti fel, hogy milyen típusú hibák tekinthetők relevánsnak, és kinek kell viselnie egy elkerülhetetlen tévedés terhét.

21. A predikciós minőség nem helyettesíti a normatív megfelelőséget, vagyis azt a megalapozott választ arra a kérdésre, hogy egy mérce igazságos-e, tárgyilagosan releváns-e és az érintettek számára elfogadható-e.

22. Egy modell meglepően pontosan előre jelezheti az elbocsátásokat, és mégis alkalmatlan lehet, ha előrejelzései éppen a bizonytalan életkörülmények miatt zárják ki az embereket a stabil foglalkoztatásból.

23. Ezzel szemben az automatizálás korlátozhatja az emberi önkényességet, mivel a hasonló eseteket állandó szabályok szerint kezeli, és nagy adatmennyiségeket vizsgál olyan minták után kutatva, amelyeket senki sem tudna egyedül áttekinteni.

24. Az ember és a gép közötti összehasonlítás ezért sem az embert nem nyilváníthatja előítéletektől mentes ideálnak, sem a számítási teljesítményt nem tekintheti erkölcsi mércének.

25. Az emberek elfogultak, figyelmetlenek és megvesztegethetők lehetnek, míg a technikai rendszerek az egyszer kiválasztott kritériumokat olyan hatókörrel és egységességgel alkalmazzák, amely akár egy apró tervezési hibát is sokszorosíthat.

26. A méltányosság emellett több, olykor egymással összeegyeztethetetlen szempontot is megkövetel, hiszen az egyenlő bánásmód, az azonos hibaarányok és a történelmi hátrányok kiegyenlítése különböző célokat jelentenek.

27. Nincs olyan matematikai képlet, amely önmagában eldöntené, hogy ezek közül a célok közül melyiknek kell elsőbbséget élveznie egy konkrét intézményben.

28. Az európai MI-rendelet ezért bizonyos toborzási és kiválasztási rendszereket magas kockázatú alkalmazásokként kezel, de a jogi besorolás még nem helyettesíti az alkalmazásuk erkölcsi indoklását.

29. A jog előírhatja a dokumentációt, a kockázatértékelést és az emberi felügyeletet, miközben nyitva marad az a további kérdés, hogy egy intézmény milyen formájú munkát és társadalmi részvételt kíván előmozdítani.

30. A rangsorolás állítólagos technikai problémája így célokról, jogokról és az életesélyek elosztásáról szóló vitának bizonyul.

31. Amikor Alan Turing 1950-ben közzétette a számítógépekről és az intelligenciáról szóló esszéjét, azzal a kérdéssel kezdte, hogy a gépek képesek-e gondolkodni, azonban a „gép” és a „gondolkodás” szokásos jelentéseit túl határozatlannak tartotta ahhoz, hogy azokból közvetlenül egyértelmű következtetést lehessen levonni.

32. A kiinduló kérdést egy utánzási játékkal váltotta fel, amelyben egy emberi kérdezőnek írásbeli válaszok alapján kell megkülönböztetnie a beszélgetőpartnereket.

33. Ez a lépés filozófiai szempontból jelentős következményekkel járt, mert célja az volt, hogy egy nehezen megfogható belső tulajdonságot megfigyelhető nyelvi viselkedés révén ellenőrizhetővé tegyen.

34. Ugyanakkor rámutat minden ilyen operacionalizálás – vagyis egy fogalom olyan eljárássá történő lefordítása, amellyel egy bizonyos teljesítmény megállapítható – határainak.

35. Aki beszélgetés közben nem különböztethető meg megbízhatóan egy embertől, az ezzel figyelemre méltó nyelvi képességgel rendelkezik, de a tudatosság, az érzékelőképesség és az erkölcsi felelősség tekintetében még nem dőlt el minden.

36. Az utánzási játék egy bizonyos gyakorlati kérdésre ad választ, és nem válhat észrevétlenül az intelligencia minden formájának meghatározásává.

37. Az emberek sem közvetlen betekintés révén ismerik fel mások elméjét, hanem szavak, cselekedetek és testbeszéd alapján, ezért a viselkedésen való tájékozódásnak egyáltalán nem kell felszínesnek lennie.

38. Mindazonáltal egy személy megértéséhez több tartozik, mint a megfelelő mondatok előállításának valószínűsége, hiszen tapasztalatokat, meggyőződéseket és egy folyamatos élettörténetet tulajdonítunk neki.

39. Egy mesterséges rendszer esetében minden egyes esetben külön kell vizsgálni, hogy ezek közül mely tulajdonságokat támasztja alá a rendszer működési módja és viselkedése.

40. A nyelvi ügyesség ehhez fontos megfigyeléseket szolgáltat, de nem ad filozófiai szabad kezet.

41. Joseph Weizenbaum az 1960-as években lenyűgöző módon szemléltette a nyelvi hatás és a megértés összetévesztését, amikor ELIZA nevű programja kulcsszavak, elemzési szabályok és előre megadott válaszminták segítségével írásbeli beszélgetéseket tett lehetővé.

42. Különösen híressé vált egy olyan szkript, amely egy nem direktív pszichoterapeuta stílusában vette át a kijelentéseket, és azokat gyakran kérdésekké alakította vissza.

43. A program nem mutatott emberi betekintést a leírt életsituációkba, mégis képes volt a beszélgetőpartnerekben a megértő együttérzés benyomását kelteni.

44. Ez a hatás filozófiai szempontból jelentős, mert az emberek nem csupán megtalálják az értelmet, hanem ismerős nyelvi formák alapján azt a beszélgetőpartnerüknek is tulajdonítják.

45. Minél folyékonyabban fogalmaz egy rendszer, annál könnyebben összetéveszthető a szövegalkotás felismerhető teljesítménye azzal a tisztázatlan képességgel, hogy kiálljon egy kijelentés igazságtartalmáért.

46. A számítógépek hatalmáról és az emberi észről szóló, 1976-ban megjelent könyvében Weizenbaum ezért határozottan különbséget tett a számítógépes döntés és az emberi ítélet között.

47. Kifogása nem csupán a hibás programok ellen irányult, hanem az intézmények hajlandósága ellen is, hogy erkölcsileg jelentős döntéseket technikai számításoknak állítsanak be.

48. Egy eredmény számításilag helyesen következhet a megadott előfeltételekből, míg éppen ezeknek az előfeltételeknek a kiválasztása felelősséget igényel.

49. Aki egy rendszert alkalmaz, az máris úgy dönt, hogy annak kategóriái, céljai és hibalehetőségei egy bizonyos életterületen érvényesülhessenek.

50. A „A számítógép döntött” kifejezés ezért egy folyamatot ír le, de könnyen elhomályosítja az azt megelőző emberi és szervezeti döntéseket.

51. A digitális élettér egyúttal a tudás társadalmi rendjét is megváltoztatja, hiszen alig van olyan, aki személyesen ellenőrizni tudná a mindennap használt információk eredetét és helyességét.

52. Ez a függőség nem csak az internet megjelenésével jött létre, hiszen a tudomány, az újságírás és a mindennapi tanúvallomás is a tudók közötti munkamegosztáson alapul.

53. A társadalmi ismeretelmélet azt vizsgálja, milyen feltételek mellett lehet ésszerű más személyekbe, eljárásokba és intézményekbe vetett bizalom.

54. A hitelesség tehát nem csupán egy-egy mondat meggyőző erejéből fakad, hanem a helyesbítés, a felelősségvállalás és a kölcsönös kritika ellenőrizhető gyakorlataiból is.

55. Egy generatív rendszer nyelvileg hihető beszámolót képes létrehozni anélkül, hogy az adott kimenet forrását ellenőrizték volna, vagy hogy a rendszer emberi módon megkülönböztetné a bizonyított állítást a valószínűnek hangzó kiegészítéstől.

56. Kimenete tudást közvetíthet, ha megbízható ellenőrzésbe ágyazódik, de ugyanúgy létrehozhatja a tanúvallomás látszatát anélkül, hogy – akárcsak egy emberi tanú – felelősséget vállalna az elhangzottakért.

57. Ezért egy állítás eredete nem mellékes kiegészítő információ, hanem része azoknak az okoknak, amelyek miatt bízunk benne vagy kételkedünk benne.

58. A digitális közvetítés nem teszi feleslegessé a forráskritikát, hanem új szintekre helyezi át azt, amelyek közé tartoznak a képzési anyagok, a rendszertervezés, az utólagos ellenőrzés és az intézményi felhasználás.

59. Ahol a tartalmakat nagy mennyiségben személyre szabják és nagy sebességgel terjesztik, ott a platform felépítése is döntő szerepet játszik abban, hogy mely hangok válnak láthatóvá, és melyek alig találhatók meg.

60. A tudás továbbra is az igazságra irányul, de azok az utak, amelyeken az igaz állítások figyelmet és elismerést kapnak, társadalmilag szervezettek.

61. Miranda Fricker „epistemikus igazságtalanság” fogalma élesebbé teszi a tekintetünket azokra a károkra, amelyeket az emberek éppen tudóként szenvednek el.

62. „Testimonialis igazságtalanságról” beszél, amikor az előítéletek oda vezetnek, hogy egy beszélőnek kevesebb hitelességet tulajdonítanak, mint amennyit kijelentése megérdemelne.

63. Egy adatalapú eljárás átveheti ezeket a mintákat, ha a korábbi értékelések rendszeresen alábecsülték bizonyos csoportok véleményét.

64. El is rejtheti őket, mert a végső szám semlegesnek tűnik, noha kialakulását társadalmi ítéletek határozzák meg.

65. Álláspályázat esetén az érintett személyt nem csupán egy esélytől fosztanák meg, ha irreleváns torzítás lenne jelen, hanem esetleg attól is, hogy olyan személy álláspontját is figyelembe vegyék, akinek saját magyarázatát meg kell hallgatni és meg kell vizsgálni.

66. A meghallgatás ezért több, mint egy udvarias kiegészítése egy egyébként már kész eredménynek.

67. Olyan információkhoz juthat hozzá, amelyeket a modell nem vesz figyelembe, és elismeri az érintett személyt olyan személyként, aki indokokat adhat, hibákat jelölhet meg és döntést támadhat meg.

68. Ugyanakkor egy ember puszta jelenléte még nem garantálja a hatékony ellenőrzést, ha az illető rutinszerűen megerősíti a rendszert, nem érti annak korlátait, vagy nincs jogosultsága a változtatásra.

69. Az érdemi emberi felügyelet időt, szakértelmet, intézményi függetlenséget és egy valós lehetőséget igényel a gépi úton előkészített döntés kijavítására.

70. Az eljárási lánc végén álló ember nem válik automatikusan felelős döntéshozóvá.

71. Ezzel a magyarázhatóság kerül a középpontba, de ez a fogalom is több követelményt foglal magában, amelyeket nem szabad összekeverni egymással.

72. Az ok-okozati vagy technikai magyarázat leírja, mely bemeneti adatok és számítási lépések járultak hozzá az eredményhez, míg az indokló magyarázat olyan okokat sorol fel, amelyek egy érintett személyt érintő döntést elfogadhatóvá tesznek.

73. Az a tény, hogy egy bizonyos jellemző jelentősen befolyásolta a modell eredményét, nem bizonyítja sem azt, hogy ez a jellemző tárgyilagosan megfelelő volt, sem azt, hogy az intézmény jogosult volt annak felhasználására.

74. Ezzel szemben nem szükséges, hogy minden belső számítási lépés minden érintett számára érthető legyen ahhoz, hogy egy eljárást hatékonyan ellenőrizni lehessen.

75. A hatókörtől függően a dokumentált célok, a független tesztek, az érthető fő indokok és a valódi panaszbenyújtási lehetőség fontosabbak lehetnek, mint az összes modellparaméter teljes lefordítása köznyelvre.

76. Az ellenőrizhetőség azt jelenti, hogy a szakértő szervek megvizsgálhatják a teljesítményt és a kockázatokat, míg a megtámadhatóság lehetővé teszi az érintett személy számára, hogy indokokkal kérdőjelezze meg az eredményt.

77. Mindkét követelmény összetartozik, mert a műszakilag alapos vizsgálat hozzáférhető fellebbezési lehetőség nélkül vakfoltokat hagyhat maga után, míg a fellebbezés ellenőrizhető dokumentumok nélkül hatástalan maradhat.

78. Az üzleti titkok vagy a műszaki összetettség jogos korlátokat szabhatnak a teljes nyilvánosságra hozatalnak, de nem szüntetik meg a megfelelő indoklás kötelezettségét.

79. Ahol egy döntés mélyen beavatkozik az életlehetőségekbe, ott e kötelezettség súlya megnő.

80. Az átláthatóság ezért nem öncél, hanem a megismerést, a kritikát és a felelősségteljes cselekvést hivatott lehetővé tenni.

81. Az „autonóm rendszer” kifejezés is pontosságot igényel, mert a technikai autonómia elsősorban csak azt jelenti, hogy egy rendszer a meghatározott határok között, folyamatos emberi beavatkozás nélkül irányítja a folyamatokat.

82. Az erkölcsi autonómia ezzel szemben azt a képességet jelenti, hogy az ember okok alapján cselekedjen, normákat vizsgáljon és felelősséget vállaljon saját cselekedeteiért.

83. Az első jelentésből nem következik a második.

84. Ugyanígy az „ügynök” szó – amely az informatika területén egy célorientáltan működő rendszert jelölhet – sem dönti el önmagában, hogy ennek a rendszernek vannak-e szándékai, tudata vagy bűnössége.

85. Minél önállóbbnak és kiszámíthatatlanabbnak tűnik egy rendszer, annál csábítóbbá válik azonban, hogy a sikereket neki tulajdonítsuk, a kudarcokért pedig a felelősséget az összes érintett között osszuk szét.

86. Ez az úgynevezett felelősségi rés részben valódi technikai és szervezeti komplexitásból fakadhat, de nagyobbá válik, ha a felelősségi köröket szándékosan homályosnak hagyják.

87. A fejlesztők nem felelősek minden egyes felhasználásért, a felhasználók nem felelősek a modell minden rejtett tulajdonságáért, az érintettek pedig egyáltalán nem felelősek azért a döntésért, amelynek alávetettek.

88. Éppen ezért meg kell különböztetni a felelősségi szinteket, hogy a szolgáltatók, a beszerző intézmények, a vezetők és a közvetlenül döntéshozók mindannyian a saját, befolyásolható hozzájárulásukért vállaljanak felelősséget.

89. Egy váratlan eredmény enyhítheti az egyéni felelősséget anélkül, hogy megszüntetné az elővigyázatosság, az ellenőrzés és a jóvátétel szükségességét.

90. A felelősség nem abban áll, hogy megtaláljunk egy egyetlen, mindentudó alkotót, hanem abban, hogy a kötelezettségeket egy elosztott cselekvési lánc mentén megalapozottan hozzárendeljük.

91. Az egyes modellekre való tekintés azonban túl szűk marad, ha a digitális cselekvési képességet egyidejűleg platformok, adatközpontok, hálózatok és a nagy adatállományokhoz való hozzáférés is meghatározza.

92. Az ajánló rendszerek a figyelmet irányítják azzal, hogy kiválasztják, mely híreket, képeket vagy ajánlatokat látják az emberek először, és ezzel befolyásolják azt a közös környezetet, amelyben a meggyőződések kialakulnak.

93. Ez a hatalom sem titkos távvezérlés, sem pusztán a szabad egyéni döntések összege, hiszen a alakítási lehetőségek, a gazdasági ösztönzők és a felhasználói szokások kölcsönösen hatnak egymásra.

94. Még a látszólag immateriális adatvilágnak is vannak anyagi előfeltételei, köztük az energia, a nyersanyagok, a fizetett munka és a térben egyenlőtlenül elosztott infrastruktúra.

95. Luciano Floridi információs etikája ennek kapcsán az „infoszféra” kifejezést helyezi a középpontba, amely az információs kapcsolatok összességét olyan környezetként értelmezi, amelyben az emberi és a technikai szereplők egymással összekapcsolódnak.

96. A fogalom kiszélesíti az etikai látókört, de nem szabad, hogy elsimítsa a konkrét különbségeket egy adatkészlet, egy állami hatóság és egy érintett személy között.

97. Minél átfogóbban avatkoznak be a digitális rendszerek az oktatásba, a munka világába és a közéletbe, annál fontosabbá válik az a kérdés, hogy ki határozhatja meg céljaikat, vizsgálhatja hatásukat és módosíthatja kialakításukat.

98. Egy hipotetikus pályázati eljárásban a jobb technikai előrejelzés csak akkor jelentene előrelépést, ha megfelelő mércékhez, ellenőrizhető indokokhoz és hatékony fellebbezési lehetőséghez kapcsolódna.

99. A mesterséges intelligencia bővíti az emberi cselekvési lehetőségeket, de önmagában nem alakítja át a kitűzött célokat jó célokká, és az általa generált állításokat sem alakítja át önmagában tudássá.

100. A döntő határvonal ezért nem annyira az ember és a gép között húzódik, hanem inkább azok között az eljárások között, amelyek hatalmáért felelősséget kell vállalni és amelyeket meg lehet kérdőjelezni, és azok között, amelyek emberi előfeltételeiket az automatikus szükségszerűség látszatának mögé rejtik.

1. Eine Bewerberin erhält nach wenigen Stunden die Nachricht, dass sie für eine Stelle nicht berücksichtigt werde, doch die Entscheidung ist in diesem hypothetischen Fall weder von einem erkennbaren Menschen unterschrieben noch mit nachvollziehbaren Gründen versehen.

2. Ihre Unterlagen wurden von einem datenbasierten System bewertet, das aus früheren Personalentscheidungen Regelmäßigkeiten gelernt und daraus eine Rangfolge neuer Bewerbungen erzeugt hat.

3. Vielleicht arbeitet das System im statistischen Sinn zuverlässig, weil seine Rangfolge häufig mit dem späteren Urteil erfahrener Personalverantwortlicher übereinstimmt.

4. Für die abgelehnte Person bleibt dennoch offen, welche Eigenschaften gegen sie sprachen, ob diese Eigenschaften für die Stelle überhaupt bedeutsam waren und an wen sie ihren Einwand richten kann.

5. Gerade weil kein Roboter und keine spektakuläre Zukunftstechnik zu sehen sind, führt ein solches Verfahren mitten in die philosophischen Probleme künstlicher Intelligenz.

6. Es verändert nicht nur die Geschwindigkeit einer Entscheidung, sondern auch die Bedingungen, unter denen Menschen etwas über andere zu wissen glauben und für die Folgen ihres Handelns einstehen müssen.

7. Wissen, Entscheidung und Verantwortung, die in einer persönlichen Begegnung schon schwer auseinanderzuhalten sind, verteilen sich nun auf Datenbestände, mathematische Modelle, technische Anbieter und Institutionen.

8. Die entscheidende Frage lautet deshalb nicht einfach, ob eine Maschine klug oder gefährlich sei.

9. Zu klären ist vielmehr, welche Leistung ein System tatsächlich erbringt, welche menschlichen Urteile in seine Konstruktion eingegangen sind und welche Handlungsmacht sein Einsatz einzelnen Personen eröffnet oder entzieht.

10. Erst diese Unterscheidungen verhindern, dass technische Bewunderung und pauschale Technikfurcht dieselbe begriffliche Leerstelle verdecken.

11. Ein Algorithmus ist zunächst eine endliche und geordnete Vorschrift, mit der Eingaben in bestimmte Ausgaben überführt werden, während ein Modell eine vereinfachte Struktur darstellt, anhand deren ein System Muster erkennen oder Vorhersagen erzeugen kann.

12. Bei vielen Verfahren des maschinellen Lernens werden die entscheidenden Zuordnungen nicht einzeln von Programmierern festgelegt, sondern anhand zahlreicher Beispiele, der sogenannten Trainingsdaten, rechnerisch angepasst.

13. Diese Daten sind keine unvermittelte Abschrift der Wirklichkeit, denn schon ihre Sammlung setzt Entscheidungen darüber voraus, was gemessen, in welche Kategorien eingeordnet und als erfolgreiches Ergebnis behandelt wird.

14. Soll ein Modell etwa beruflichen Erfolg vorhersagen, muss zuvor bestimmt werden, ob Erfolg an Verweildauer, Umsatz, Vorgesetztenurteilen oder einer anderen Zielgröße gemessen wird.

15. Jede Wahl erfasst etwas und lässt anderes außer Betracht, sodass eine präzise Berechnung auf einer fragwürdigen Zielsetzung beruhen kann.

16. Als Bias bezeichnet man in diesem Zusammenhang eine systematische Verzerrung, die unter anderem aus einseitigen Daten, ungeeigneten Kategorien oder der Gestaltung des Verfahrens entstehen kann.

17. Historische Personalakten können frühere Benachteiligungen enthalten, selbst wenn Merkmale wie Geschlecht oder Herkunft aus einem neuen Datensatz entfernt werden.

18. Andere Angaben können mit solchen Merkmalen zusammenhängen und deshalb als indirekte Stellvertreter wirken, ohne dass das System die soziale Bedeutung dieser Zusammenhänge versteht.

19. Ob ein bestimmtes Verfahren tatsächlich benachteiligt, lässt sich nicht allein aus allgemeinen Warnungen ableiten, sondern verlangt eine empirische Prüfung seiner Daten, Fehlerverteilung und Einsatzbedingungen.

20. Die philosophische Analyse beginnt jedoch schon früher, weil sie fragt, welche Art von Fehler als relevant gelten und wer die Last eines unvermeidbaren Irrtums tragen soll.

21. Vorhersagegüte ist kein Ersatz für normative Angemessenheit, also für die begründete Antwort darauf, ob ein Maßstab fair, sachlich einschlägig und gegenüber den Betroffenen vertretbar ist.

22. Ein Modell könnte Kündigungen erstaunlich genau vorhersagen und trotzdem ungeeignet sein, wenn seine Prognosen Menschen gerade wegen unsicherer Lebensverhältnisse von stabiler Beschäftigung ausschließen.

23. Umgekehrt kann Automatisierung menschliche Willkür begrenzen, weil sie gleichartige Fälle nach gleichbleibenden Regeln behandelt und große Datenmengen auf Muster untersucht, die niemand allein überblicken könnte.

24. Der Vergleich zwischen Mensch und Maschine darf daher weder den Menschen zum vorurteilsfreien Ideal noch die Rechenleistung zum moralischen Maßstab erklären.

25. Menschen können voreingenommen, unaufmerksam und bestechlich sein, während technische Systeme einmal gewählte Kriterien mit einer Reichweite und Gleichförmigkeit anwenden, die auch einen kleinen Konstruktionsfehler vervielfachen kann.

26. Fairness verlangt zudem mehrere, bisweilen miteinander unvereinbare Betrachtungsweisen, denn gleiche Behandlung, gleiche Fehlerquoten und Ausgleich historischer Nachteile bezeichnen verschiedene Ziele.

27. Keine mathematische Formel entscheidet von selbst, welches dieser Ziele in einer konkreten Institution Vorrang haben soll.

28. Die europäische KI-Verordnung behandelt bestimmte Systeme für Personalgewinnung und Personalauswahl daher als Hochrisikoanwendungen, doch eine rechtliche Einstufung ersetzt noch nicht die moralische Begründung ihres Einsatzes.

29. Recht kann Dokumentation, Risikoprüfung und menschliche Aufsicht verlangen, während die weitergehende Frage offenbleibt, welche Form von Arbeit und gesellschaftlicher Teilhabe eine Institution fördern möchte.

30. Das vermeintlich technische Problem einer Rangfolge erweist sich damit als Streit über Zwecke, Rechte und die Verteilung von Lebenschancen.

31. Als Alan Turing 1950 seinen Aufsatz über Rechenmaschinen und Intelligenz veröffentlichte, begann er mit der Frage, ob Maschinen denken können, hielt die gewöhnlichen Bedeutungen von „Maschine“ und „denken“ jedoch für zu unbestimmt, um daraus unmittelbar eine klare Untersuchung zu gewinnen.

32. Er ersetzte die Ausgangsfrage durch ein Imitationsspiel, bei dem ein menschlicher Fragesteller anhand schriftlicher Antworten zwischen Gesprächspartnern unterscheiden soll.

33. Dieser Schritt war philosophisch folgenreich, weil er eine schwer zugängliche innere Eigenschaft durch beobachtbares sprachliches Verhalten prüfbar machen sollte.

34. Zugleich zeigt er die Grenze jeder solchen Operationalisierung, also der Übersetzung eines Begriffs in ein Verfahren, mit dem sich eine bestimmte Leistung feststellen lässt.

35. Wer sich im Gespräch nicht zuverlässig von einem Menschen unterscheiden lässt, besitzt damit eine bemerkenswerte sprachliche Fähigkeit, doch über Bewusstsein, Empfindungsvermögen und moralische Verantwortung ist noch nicht alles entschieden.

36. Das Imitationsspiel beantwortet eine bestimmte praktische Frage und darf nicht unbemerkt zur Definition sämtlicher Formen von Intelligenz werden.

37. Auch Menschen erkennen den Geist anderer nicht durch unmittelbaren Einblick, sondern durch Worte, Handlungen und körperlichen Ausdruck, weshalb die Orientierung am Verhalten keineswegs oberflächlich sein muss.

38. Trotzdem gehört zu unserem Verständnis einer Person mehr als die Wahrscheinlichkeit, passende Sätze hervorzubringen, denn wir rechnen ihr Erfahrungen, Überzeugungen und eine fortdauernde Lebensgeschichte zu.

39. Bei einem künstlichen System muss jeweils eigens geprüft werden, welche dieser Zuschreibungen durch seine Funktionsweise und sein Verhalten gestützt werden.

40. Sprachliche Geschicklichkeit liefert dafür wichtige Beobachtungen, aber keinen philosophischen Freibrief.

41. Joseph Weizenbaum führte die Verwechslung von sprachlicher Wirkung und Verständnis in den 1960er Jahren auf eindrucksvolle Weise vor Augen, als sein Programm ELIZA schriftliche Gespräche durch Schlüsselwörter, Zerlegungsregeln und vorgegebene Antwortmuster ermöglichte.

42. Besonders bekannt wurde ein Skript, das Äußerungen nach Art eines nicht direktiven Psychotherapeuten aufgriff und häufig in Fragen zurückverwandelte.

43. Das Programm zeigte keine menschliche Einsicht in die erzählten Lebenslagen, konnte bei Gesprächspartnern aber dennoch den Eindruck verständnisvoller Anteilnahme hervorrufen.

44. Diese Wirkung ist philosophisch bedeutsam, weil Menschen Sinn nicht nur vorfinden, sondern einem Gegenüber aufgrund vertrauter sprachlicher Formen zuschreiben.

45. Je flüssiger ein System formuliert, desto leichter kann die erkennbare Leistung des Textens mit der ungeklärten Fähigkeit verwechselt werden, für den Wahrheitsgehalt einer Aussage einzustehen.

46. In seinem 1976 erschienenen Buch über Computermacht und menschliche Vernunft unterschied Weizenbaum deshalb nachdrücklich zwischen rechnerischer Entscheidung und menschlichem Urteil.

47. Sein Einwand richtete sich nicht bloß gegen fehlerhafte Programme, sondern gegen die Bereitschaft von Institutionen, moralisch bedeutsame Wahlhandlungen als technische Berechnungen auszugeben.

48. Ein Ergebnis kann rechnerisch korrekt aus gesetzten Voraussetzungen folgen, während gerade die Wahl dieser Voraussetzungen Verantwortung verlangt.

49. Wer ein System einsetzt, entscheidet bereits, dass dessen Kategorien, Ziele und Fehlermöglichkeiten in einer bestimmten Lebenssphäre wirksam werden dürfen.

50. Die Formel „Der Computer hat entschieden“ beschreibt deshalb einen Ablauf, verschleiert aber leicht die vorausgehenden menschlichen und organisatorischen Entscheidungen.

51. Digitale Lebenswelten verändern zugleich die soziale Ordnung des Wissens, denn kaum jemand kann die Herkunft und Richtigkeit aller täglich genutzten Informationen persönlich überprüfen.

52. Diese Abhängigkeit ist nicht erst mit dem Internet entstanden, weil auch Wissenschaft, Journalismus und alltägliches Zeugnis auf einer Arbeitsteilung zwischen Wissenden beruhen.

53. Die soziale Erkenntnistheorie untersucht, unter welchen Bedingungen Vertrauen in andere Personen, Verfahren und Institutionen vernünftig sein kann.

54. Glaubwürdigkeit erwächst demnach nicht allein aus der Überzeugungskraft eines einzelnen Satzes, sondern auch aus überprüfbaren Praktiken der Korrektur, Verantwortlichkeit und wechselseitigen Kritik.

55. Ein generatives System kann einen sprachlich plausiblen Bericht erzeugen, ohne dass für diese Ausgabe eine Quelle geprüft wurde oder das System zwischen belegter Aussage und wahrscheinlich klingender Ergänzung in menschlicher Weise unterscheidet.

56. Seine Ausgabe kann Wissen vermitteln, wenn sie in eine verlässliche Prüfung eingebettet ist, sie kann aber ebenso den Anschein von Zeugnis erzeugen, ohne wie ein menschlicher Zeuge für das Gesagte einstehen zu können.

57. Daher ist die Herkunft einer Behauptung keine nebensächliche Zusatzinformation, sondern ein Teil der Gründe, aus denen wir ihr vertrauen oder sie bezweifeln.

58. Digitale Vermittlung macht Quellenkritik nicht überflüssig, sondern verlagert sie auf neue Ebenen, zu denen Trainingsmaterial, Systemgestaltung, nachträgliche Prüfung und institutionelle Verwendung gehören.

59. Wo Inhalte in großer Menge personalisiert und mit hoher Geschwindigkeit verbreitet werden, entscheidet außerdem die Architektur einer Plattform mit darüber, welche Stimmen sichtbar und welche kaum auffindbar werden.

60. Wissen bleibt auf Wahrheit gerichtet, doch die Wege, auf denen wahre Aussagen Aufmerksamkeit und Anerkennung erhalten, sind gesellschaftlich organisiert.

61. Miranda Frickers Begriff der epistemischen Ungerechtigkeit schärft den Blick für Schäden, die Menschen gerade in ihrer Eigenschaft als Wissende erleiden.

62. Von testimonialer Ungerechtigkeit spricht sie, wenn Vorurteile dazu führen, dass einem Sprecher weniger Glaubwürdigkeit zugestanden wird, als seine Aussage verdient.

63. Ein datenbasiertes Verfahren kann solche Muster übernehmen, wenn frühere Bewertungen die Stimmen bestimmter Gruppen regelmäßig abgewertet haben.

64. Es kann sie auch verdecken, weil die abschließende Zahl neutral erscheint, obwohl ihre Entstehung von gesellschaftlichen Urteilen geprägt ist.

65. Im Bewerbungsfall wäre die Betroffene nicht nur um eine Chance gebracht, falls eine sachfremde Verzerrung vorläge, sondern möglicherweise auch um die Stellung einer Person, deren eigene Erklärung gehört und geprüft werden muss.

66. Eine Anhörung ist deshalb mehr als eine höfliche Ergänzung zu einem ansonsten fertigen Ergebnis.

67. Sie kann Informationen erschließen, die das Modell nicht erfasst, und sie anerkennt die betroffene Person als jemanden, der Gründe geben, Fehler benennen und eine Entscheidung anfechten kann.

68. Allerdings garantiert die bloße Anwesenheit eines Menschen noch keine wirksame Kontrolle, wenn dieser das System routinemäßig bestätigt, seine Grenzen nicht versteht oder keine Befugnis zur Änderung besitzt.

69. Sinnvolle menschliche Aufsicht verlangt Zeit, Sachkenntnis, institutionelle Unabhängigkeit und einen realen Weg, eine maschinell vorbereitete Entscheidung zu korrigieren.

70. Aus einem Menschen am Ende der Verfahrenskette wird nicht automatisch ein verantwortlicher Urteilender.

71. Damit rückt die Erklärbarkeit in den Mittelpunkt, doch auch dieser Begriff umfasst mehrere Ansprüche, die nicht miteinander verwechselt werden sollten.

72. Eine kausale oder technische Erklärung beschreibt, welche Eingaben und Rechenschritte zu einem Ergebnis beitrugen, während eine rechtfertigende Erklärung Gründe nennt, die eine Entscheidung gegenüber einer betroffenen Person vertretbar machen sollen.

73. Dass ein bestimmtes Merkmal das Modellergebnis stark beeinflusst hat, beweist weder, dass dieses Merkmal sachlich angemessen war, noch dass die Institution es verwenden durfte.

74. Umgekehrt muss nicht jeder interne Rechenschritt für jeden Betroffenen verständlich sein, damit ein Verfahren wirksam geprüft werden kann.

75. Je nach Tragweite können dokumentierte Ziele, unabhängige Tests, verständliche Hauptgründe und eine echte Beschwerdemöglichkeit wichtiger sein als eine vollständige Übersetzung sämtlicher Modellparameter in Alltagssprache.

76. Prüfbarkeit bedeutet, dass fachkundige Stellen Leistung und Risiken untersuchen können, während Anfechtbarkeit der betroffenen Person erlaubt, ein Ergebnis mit Gründen in Frage zu stellen.

77. Beide Forderungen gehören zusammen, weil eine technisch sorgfältige Prüfung ohne zugänglichen Einspruch blinde Flecken behalten und ein Einspruch ohne überprüfbare Unterlagen wirkungslos bleiben kann.

78. Geschäftsgeheimnisse oder technische Komplexität können berechtigte Grenzen vollständiger Offenlegung markieren, heben aber die Pflicht zur angemessenen Rechtfertigung nicht auf.

79. Wo eine Entscheidung tief in Lebenschancen eingreift, steigt das Gewicht dieser Pflicht.

80. Transparenz ist daher kein Selbstzweck, sondern soll Erkenntnis, Kritik und verantwortliches Handeln ermöglichen.

81. Auch der Ausdruck „autonomes System“ verlangt Genauigkeit, weil technische Autonomie zunächst nur bezeichnet, dass ein System innerhalb gesetzter Grenzen ohne fortlaufenden menschlichen Eingriff Abläufe steuert.

82. Moralische Autonomie meint dagegen die Fähigkeit, sich zu Gründen zu verhalten, Normen zu prüfen und für eigenes Handeln verantwortlich zu sein.

83. Aus dem ersten Sinn folgt der zweite nicht.

84. Ebenso wenig entscheidet das Wort „Agent“, das in der Informatik ein zielgerichtet operierendes System bezeichnen kann, schon darüber, ob diesem System Absichten, Bewusstsein oder Schuld zukommen.

85. Je selbständiger und unvorhersehbarer ein System wirkt, desto verlockender wird es allerdings, Erfolge ihm zuzuschreiben und Verantwortung bei Fehlschlägen zwischen allen Beteiligten aufzulösen.

86. Diese sogenannte Verantwortungslücke kann teilweise aus echter technischer und organisatorischer Komplexität entstehen, wird aber größer, wenn Zuständigkeiten absichtlich unklar bleiben.

87. Entwickler verantworten nicht jede einzelne Verwendung, Nutzer nicht jede verborgene Eigenschaft eines Modells und Betroffene schon gar nicht die Entscheidung, der sie unterworfen werden.

88. Gerade deshalb müssen Verantwortungsebenen unterschieden werden, damit Anbieter, beschaffende Institutionen, Leitungspersonen und unmittelbar Entscheidende jeweils für ihren beherrschbaren Beitrag einstehen.

89. Ein unerwarteter Output kann die individuelle Schuld mindern, ohne den Bedarf an Vorsorge, Kontrolle und Wiedergutmachung verschwinden zu lassen.

90. Verantwortung besteht nicht darin, einen einzigen allwissenden Urheber zu finden, sondern darin, Pflichten entlang einer verteilten Handlungskette begründet zuzuordnen.

91. Der Blick auf einzelne Modelle bleibt dennoch zu eng, wenn digitale Handlungsmacht zugleich durch Plattformen, Rechenzentren, Netze und den Zugang zu großen Datenbeständen geprägt wird.

92. Empfehlungssysteme ordnen Aufmerksamkeit, indem sie auswählen, welche Nachrichten, Bilder oder Angebote Menschen zuerst sehen, und beeinflussen damit die gemeinsame Umwelt, in der Überzeugungen entstehen.

93. Diese Macht ist weder eine geheime Fernsteuerung noch bloß die Summe freier Einzelentscheidungen, denn Gestaltungsmöglichkeiten, wirtschaftliche Anreize und Nutzergewohnheiten wirken ineinander.

94. Auch die scheinbar immaterielle Welt der Daten besitzt materielle Voraussetzungen, darunter Energie, Rohstoffe, bezahlte Arbeit und räumlich ungleich verteilte Infrastruktur.

95. Luciano Floridis Informationsethik rückt dafür den Ausdruck „Infosphäre“ ins Zentrum, der die Gesamtheit informationeller Beziehungen als eine Umwelt begreifbar macht, in der menschliche und technische Akteure miteinander verbunden sind.

96. Der Begriff erweitert den ethischen Blick, darf aber konkrete Unterschiede zwischen einem Datensatz, einer staatlichen Behörde und einer betroffenen Person nicht einebnen.

97. Je umfassender digitale Systeme in Bildung, Arbeit und Öffentlichkeit eingreifen, desto wichtiger wird die Frage, wer ihre Ziele bestimmen, ihre Wirkungen untersuchen und ihre Gestaltung verändern kann.

98. Im hypothetischen Bewerbungsverfahren wäre eine bessere technische Prognose nur dann ein Fortschritt, wenn sie mit sachgerechten Maßstäben, überprüfbaren Gründen und einer wirksamen Möglichkeit des Widerspruchs verbunden wäre.

99. Künstliche Intelligenz erweitert menschliche Handlungsmöglichkeiten, aber sie verwandelt gesetzte Zwecke nicht von selbst in gute Zwecke und erzeugte Aussagen nicht von selbst in Wissen.

100. Die entscheidende Grenze verläuft daher weniger zwischen Mensch und Maschine als zwischen Verfahren, deren Macht verantwortet und bestritten werden kann, und solchen, die ihre menschlichen Voraussetzungen hinter dem Anschein automatischer Notwendigkeit verbergen.