10.5 – A magyarázhatóság és határai – Erklärbarkeit und ihre Grenzen

1. Egy tüdőgyulladás-kockázati modellben az asztma előzménye úgy tűnt, hogy csökkenti a beteg halálozási esélyét.

2. Ez volt a látható szabály.

3. Egy kórház számára, amelynek el kell döntenie, kit vegyen fel, ez egyben hasznos információnak álcázott figyelmeztetés is volt .

4. Richard Caruana és kollégái egy 2015-ös kutatási beszámolóban írták le ezt a szabályt, amely az 1990-es években gyűjtött betegadatokból indult ki .

5. A modell egy valós mintázatot tanult ki ezekből a feljegyzésekből: a tüdőgyulladásban és asztmában szenvedő betegek ritkábban haltak meg, mint a kontrollcsoport tagjai, annak ellenére, hogy olyan állapotban voltak, amely bonyolíthatta betegségüket .

6. A mintázat nem azt jelentette, hogy az asztma védő hatással bírna .

7. Ezeket a betegeket gyakran azonnal felvették a kórházba, és különösen intenzív ellátásban részesítették őket, beleértve az intenzív osztályon történő kezelést is.

8. A feljegyzések tehát a kezelés nyújtását követő kimeneteleket rögzítették, míg a javasolt döntés arra vonatkozott, hogy mi történhetne, ha egyes betegeket a kórházon kívül kezelnének.

9. Ugyanaz a kórelőzmény tehát egyszerre két dolgot jelezhetett: a beteg kezelés előtti sebezhetőségét és egy olyan ellátási útvonalat, amely már csökkentette a kutatók számára látható halálozási arányt .

10. Az egyik kérdés visszamenőleg, a másik előretekintő volt .

11. Ha az alacsony előre jelzett halálozási kockázat segített igazolni a beteg hazaküldését, a modell éppen azt az ellátást vonhatta volna el, amely az alacsony megfigyelt kockázattal társult.

12. A kutatók már a szabály klinikai vizsgálatba való bevezetése előtt felismerték a veszélyt .

13. A halálozás előrejelzésének célja a felvétel irányítása volt, így egy olyan minta, amely a meglévő ellátás leírására elfogadható lehetett, veszélyessé vált, amikor azt arra használták, hogy eldöntsék, ki részesüljön abban az ellátásban.

14. Beszámolójuk nem dokumentál olyan esetet, amikor egy beteget ennek a modellnek köszönhetően elutasítottak volna a felvételtől, és nem tartalmaz összesítést a tényleges alkalmazásból származó károkról.

15. A aggasztó eredmény egy felfedezett hibaforrás volt .

16. Ez azt is megmutatja, miért van szükség a „magyarázat” szónak egy pontos tárgyra.

17. Az érthető szabály a jóslat egyik tényezőjét magyarázta: amikor az asztma-indikátor jelen volt, a modell lefelé módosította becslését .

18. Nem magyarázta meg, miért maradtak életben az alapul szolgáló nyilvántartásokban szereplő betegek, és még kevésbé határozta meg, mire van szüksége egy adott személynek jelenleg.

19. Ahhoz, hogy észrevegyük ezt a hiányosságot, kövessük nyomon a rögzített beteget az időben .

20. A felvételkor az orvos tüdőgyulladást és asztmás kórtörténetet észlelt; ezt követően a kezelési döntések alakították az adatokban rögzített kimenetelt, így a megfigyelt halálozási arány már tükrözte a folyamat során hozott döntéseket .

21. Amikor egy modell később elemezte ezeket a nyilvántartásokat, összefüggésbe hozhatta az asztmát a kimenetellel anélkül, hogy a kettő közötti beavatkozást is figyelembe vette volna .

22. Ez az adatokhoz feltett kérdés problémája.

23. A modellt arra kérték, hogy a betegek által ténylegesen kapott ellátás keretében előforduló megfigyelt haláleseteket jósolja meg, nem pedig egy alternatív, a felvétel megtagadására irányuló terv szerinti haláleseteket.

24. Statisztikai nyelven ez az eredmény kialakulásának feltételeiben bekövetkező változás, de a gyakorlati szempont egyértelmű: a javasolt szabály megváltoztatná azt a kezelést, amelyre saját bizonyítéka épül .

25. Semmilyen számítás nem tudja ezt a két célt azonos dologgá tenni.

26. A megkülönböztetés különösen fontos, ha az előrejelzés megváltoztatja azt a kezelést, amely eredetileg a betanító adatokat szolgáltatta .

27. Egy szabály tökéletesen érthető lehet, és mégis veszélyes irányba mutathat .

28. Caruana és munkatársai a korábbi projekt során összehasonlították a modelleket, és úgy ítélték meg, hogy a nehezen értelmezhető neurális hálózatok túl kockázatosak a klinikai teszteléshez abban a környezetben .

29. Ehelyett inkább értelmezhetőbb megközelítéseket alkalmaztak.

30. Aggodalmuk abból fakadt, hogy egy átláthatatlan modell tartalmazhat más, klinikailag aggasztó mintázatokat is, amelyeket a felhasználók nem tudnak könnyen ellenőrizni, még akkor sem, ha az általános előrejelzései kedvezően hasonlítanak az egyszerűbb modellekéhez .

31. Ezt az aggodalmat nem szabad úgy értelmezni, hogy bebizonyosodott volna, hogy egy adott rejtett hálózat pontosan ugyanúgy alkalmazta az asztmás szabályt .

32. Későbbi tanulmányukban a kutatók ismét megtalálták az asztmás mintázatot egy olyan modellben, amelyben a különálló jellemzők hozzájárulása megjeleníthető volt.

33. A jellemzőgörbe feltárta, hogy az asztmás kórelőzmény lefelé nyomja a pontszámot .

34. Ez a láthatóság lehetővé tette a mintázat klinikai vizsgálatát és esetleges módosítását, ami olyan gyakorlati előny, amelyet az összesített pontosság önmagában nem nyújtott volna .

35. Az egész adathalmazra vonatkozó átlagos pontszám kedvezőnek tűnhetett volna, még akkor is, ha a modell veszélyesen megnyugtató pontszámot rendelt volna egy kisebb csoporthoz, amelynek korábbi ellátása eltért a többiekétől .

36. A görbe módosítása azonban csupán beavatkozás a modellbe, nem pedig bizonyíték arra, hogy a felülvizsgált felvételi politika a betegek javát szolgálná, mivel az ellátás megváltoztatásának következményeit a betanítási adatokon túlmenően még meg kell állapítani .

37. Az együttható megváltoztatása nem képes rekonstruálni annak a betegnek a meg nem figyelt kimenetelét, aki nem részesült intenzív kezelésben.

38. A megfigyelt összefüggés önmagában sem méri, hogy a kezelés mennyiben járult hozzá az egyes egyének alacsonyabb halálozási arányához .

39. A kutatók beszámolója meggyőző magyarázatot ad arra, hogyan alakulhatott ki a félrevezető mintázat, a dokumentált kezelési gyakorlatra alapozva .

40. Ez okot ad a kutatóknak arra, hogy a felvételi nyilvántartásokat, a kezelés intenzitását és az eredményeket együtt vizsgálják, miközben nyitva hagyja, hogy az egyes beavatkozások mennyiben járultak hozzá ehhez, és hogy a mintázat máshol is megismétlődne-e.

41. Ez nem olyan kísérlet, amely elkülöníti a kezelés hatását.

42. Ez azért fontos, mert egy magyarázat négy különböző kérdésre adhat választ, amelyeket gyakran egyetlen, az átláthatóságra irányuló követelésbe sűrítenek.

43. Először is: mivel járult hozzá a rögzített asztma-mutató a modell számához?

44. Itt a válasz szokatlanul könnyen megfogalmazható volt: a modell többi bemeneti adatát figyelembe véve csökkentette a kockázati pontszámot.

45. Másodszor: miért jelent meg lefelé irányuló összefüggés a korábbi adatokban?

46. Erre a kérdésre a kórházi felvételre és az intenzív ellátásra vonatkozó gyakorlatok ismerete volt szükséges, nem csupán a modell súlyozásainak újabb bemutatása.

47. Harmadszor: a megfigyelt halálozási arány volt-e a megfelelő mutató a kórházi felvételről szóló döntés előrejelzéséhez?

48. Ehhez össze kellett hasonlítani az adatok kimenetelét az ellátás megváltoztatásának következményeivel – ezt a kérdést egyetlen jellemzőábra sem tudta volna önmagában eldönteni.

49. Negyedszer, milyen okok támasztják alá a klinikus előtt álló személyre vonatkozó tényleges kezelési döntést?

50. A válasznak tartalmaznia kell a személy aktuális állapotát, a rendelkezésre álló lehetőségeket és az egyes lehetőségek körüli bizonytalanságot .

51. A négy kérdés összefügg, de nem helyettesíthetik egymást.

52. Egy egyszerű modell világosan megfogalmazhatja számítását, miközben hűen kiszámítja a helytelen célt.

53. Egy komplex modell jól jósolhat egy tesztkészleten, miközben elrejti egy klinikailag jelentős függőséget, amelyet érdemes lenne megvizsgálni .

54. Sem az „egyszerű”, sem a „pontos” nem szinonimája a megalapozott ítéletnek .

55. Még a látszólag szerény „az asztma miatt” kifejezés is félrevezető lehet, ha elrejti az állítás mértékét .

56. Ez azt jelentheti, hogy az asztma megváltoztatta egy adott modell kimenetét, hogy az asztma megkülönböztette azokat a betegeket, akik eltérő ellátásban részesültek, vagy hogy maga az asztma módosította egy kezeletlen beteg kockázatát .

57. Csak az első volt közvetlenül látható a jellemzők hozzájárulásában, míg a második a kutatóknak a korábbi ellátásról szóló beszámolójától és attól a tágabb klinikai értelmezéstől függött, hogy a kezelés hogyan alakította a megfigyelt kimenetet .

58. A harmadik nem volt következtethető a görbéből.

59. Ez a különbség határozza meg, hogy mit kell tartalmaznia egy hasznos magyarázatnak, amikor egy modell bekerül egy valós döntési folyamatba .

60. Valakinek képesnek kell lennie arra, hogy a számot visszavegye a rögzített bemeneti adatokig, és megkérdezze, hogy azokat a bemeneti adatokat helyesen mérték-e .

61. Valakinek azt is meg kell kérdeznie, hogy mi történt azokkal az emberekkel, akiknek az adatai szolgáltatták a látszólagos tanulságot.

62. Ha a kezelés mind a megfigyelt kimenetet, mind a jellemző jelentését megváltoztatja, akkor a predikció magyarázata a modell határain kívül kezdődik.

63. Ez a külső háttér magában foglalja az orvosok döntéseit, a rendelkezésre álló kórházi ágyakat és a mérési gyakorlatokat, amelyek közül egyik sem válik láthatóvá pusztán azért, mert egy grafikon egy tiszta vonalat húz a jellemzőtől a pontszámig .

64. A probléma még nehezebbé válik, amikor a magyarázat nem olvasható szabály formájában, hanem meggyőző képként jelenik meg.

65. Képzeljünk el egy képbesorolót, amelyet egy színes térkép kísér, amely a kép egyes részeit kiemeli .

66. A színek úgy tűnnek, mintha jelölnék, hova nézett a modell.

67. Egy ilyen térkép azonban hasonlíthat a képen látható tárgyra anélkül, hogy hűen tükrözné azt, amit a betanított modell megtanult felismerni, mivel a megjelenítési módszer elsősorban a kép szerkezetére reagálhat, nem pedig a megtanult súlyokra .

68. 2018-ban Julius Adebayo és kollégái szigorú vizsgálatnak vetették alá az ilyen kiemelési térképek előállítására szolgáló számos módszert.

69. Megváltoztatták a betanított modell súlyait – néha rétegenként –, és megvizsgálták, hogy az így kapott térképek is változtak-e velük együtt.

70. Azt is tesztelték, mi történik, ha a képek és a címkék közötti kapcsolatokat a tanítás során véletlenszerűen rendezték el.

71. Egyes módszerek esetében a kiemelt képek feltűnően hasonlóak maradtak még akkor is, miután ezek a változások eltüntették azt a megtanult kapcsolatot, amelyet a magyarázatnak feltárnia kellett volna.

72. Más módszerek reagáltak a változásokra .

73. A megállapítás tehát a térképek készítésének bizonyos módjairól és bizonyos tesztekről szólt, nem pedig minden vizuális magyarázat elutasításáról.

74. A szerzők ellentétet találtak a vizsgált módszerek között, ami azért fontos, mert egy olyan térkép, amely a megtanult modell változásával együtt változik, további tesztelésre szorulhat, mielőtt bárki is megbízna a látszólagos hangsúlyozásában .

75. Erőssége egy egyszerű követelményben rejlik: ha egy ábrázolás azt állítja, hogy azt mutatja, amit ez a modell megtanult, akkor a modell által megtanultak megváltozásának hatással kell lennie az ábrázolásra .

76. A tesztek nem adnak tökéletes képet a magyarázat minőségéről.

77. Gal Yona és Daniel Greenfeld később azzal érveltek, hogy a tesztelt feladatok jellemzői magyarázatot adhatnak bizonyos kedvezőtlen eredményekre, és korlátozhatják az eredeti következtetéseket .

78. Ez a kritika szűkíti a következtetést anélkül, hogy a puszta vizuális ellenőrzést megbízható helyettesítőjévé tenné az ellenőrzésnek .

79. A térképnek még ki kell érdemelnie a jelentését.

80. Mielőtt egy színes területet a megtanult döntési szabályra vonatkozó bizonyítékként kezelne, az értékelőnek meg kell győződnie arról, hogy a kijelző reagál a modell releváns változásaira, és választ ad a feltett kérdésre .

81. Különbség van a számításokat meghatározó pixelek azonosítása és annak magyarázata között, hogy miért történt egy valós esemény .

82. Van még egy különbség mindkettő és egy személyt érintő döntés megvédése között .

83. Egy kép fényes foltja tükrözheti a modell reakcióját az adott bemeneti adatokra, feltéve, hogy a megjelenítési módszer megfelelt a releváns teszteken, de színeinek értelmezése továbbra is egy konkrét kérdéshez kötődik .

84. Önmagában nem állapíthat meg diagnózist, a címke megbízhatóságát vagy a később meghozott intézkedés helyességét.

85. A tüdőgyulladásra vonatkozó jellemzőgörbe és a szembetűnőségi térkép különböző módon vallanak kudarcot, ha túl sokat kérnek tőlük .

86. A tüdőgyulladásos tanulmányban a görbe informatív volt a modellről, és segített feltárni egy veszélyes eltérést a javasolt felhasználással kapcsolatban, mivel a kutatók összekapcsolhatták annak irányát a kórtörténetben szereplő kezelésekkel .

87. Adebayo kísérleteiben néhány vonzó térkép még a kiválasztott ellenőrzések keretében a megtanult modell leírásaként is megbízhatatlan volt.

88. Az egyik magyarázat a saját határain túlmutató problémát tárt fel; egy másik típus pedig néha elrejtette saját gyengeségét .

89. Ez a kontraszt a gyakorlati kérdést attól, hogy egy rendszer képes-e magyarázatot adni, arra változtatja, hogy a magyarázat milyen állítását sikerült ténylegesen alátámasztania.

90. Egy modellt hibakereső mérnöknek szüksége lehet arra, hogy megtudja, mely jellemző vagy interakció befolyásolta a pontszámot, mennyire érzékeny ez a változás a módosított adatokra, és hogy ugyanaz a függőség fennmarad-e az újratanítás során.

91. A válasz megváltozott bemeneti adatok és modellverziók alapján tesztelhető .

92. Egy független bírálónak többre van szüksége, mint egy kiválasztott esetre vonatkozó bemutatóra: a cél dokumentációjára, az adatgyűjtésre, a hibamintákra, a módosításokra és a releváns populációkon elért teljesítményre .

93. Ezek a feljegyzések lehetővé teszik annak vizsgálatát, hogy az állított magyarázat túlél-e egy gondosan kiválasztott példán túl is.

94. Például egy bíráló összehasonlíthatja az asztma kijelölt szerepét a különböző betegcsoportokban előforduló hibákkal, valamint azokkal a módosításokkal, amelyeket azután hajtottak végre, hogy a klinikusok megkérdőjelezték egy jellemzőt, ahelyett, hogy elfogadna egy egyetlen bemutató képet.

95. Egy klinikusnak olyan információkra van szüksége, amelyek illeszkednek a szóban forgó döntéshez, beleértve a beteg jelenlegi tüneteit, a várakozásból adódó valószínűsíthető károkat, valamint a szokásos ellátás keretében készült előrejelzés és a módosított terv szerinti előrejelzés közötti különbséget.

96. A beteg saját igényét egyszerűbb megfogalmazni.

97. Az érintett személynek képesnek kell lennie arra, hogy megértse, mely rögzített tények voltak fontosak, és milyen okok támasztották alá valójában a javasolt ellátást, anélkül, hogy egy technikai ábrázolást kapna, mintha az maga lenne az indok.

98. Ezek a célközönségek nem követelnek négy egymással összeegyeztethetetlen igazságot .

99. Ugyanazon lánc különböző láncszemeit vizsgálják a méréstől a jóslaton át a cselekvésig, és bármelyik láncszem megszakadása védhetetlenné teheti a végső döntést .

100. A lánc azt is megmagyarázza, miért nem ad választ minden kérdésre a kódhoz való teljes hozzáférés, bár az néha értékes lehet.

101. Az a fontos, hogy minden ábrázolás egyezzen-e azzal, amit állítólag ábrázol: egy adatmezőnek meg kell felelnie a betegnek, egy előrejelzett kimenetelnek meg kell felelnie a tervezett felhasználásnak, és egy indoklásnak meg kell felelnie a döntésnek .

102. A kód feltárhatja, hogyan számították ki egy számot a tárolt értékekből.

103. Nem árulja el azonban, hogy a tárolt értékek pontosan leírják-e a beteget, hogy a korábbi ellátás torzította-e a megfigyelt kimenetelt, vagy hogy a választott küszöbérték megfelelő klinikai célt szolgál-e .

104. Egy tökéletesen átlátható pontszám is csodálatra méltó következetességgel adhat ki nem megfelelő ajánlást .

105. Egy meggyőző, természetes nyelvű magyarázat sem javítja ki a hibás modellt pusztán azzal, hogy közönséges szavakkal leírja a számítását .

106. Ha a magyarázatot a jóslat után generálják, ellenőrizni kell, hogy hű-e a jóslat tényleges alapjához.

107. Ha maga a jóslat is téves kimenetelt becsül a tervezett beavatkozásra vonatkozóan, a hű magyarázat csupán a vizsgálat kezdete, mert egy téves cél átlátható leírása nem igazolhatja az arra épülő intézkedést.

108. Az asztmás szabály konkrét példával szemlélteti ezt a folyamatot.

109. Először is, a modell az adatokban az asztmát a kezelt betegek körében rögzített alacsonyabb halálozási aránnyal társította .

110. Ezután a kutatók klinikai ismereteiket vetették be a társítás értelmezésébe, és felismerték, hogy a szokatlanul intenzív ellátás hihető magyarázatot nyújtott erre.

111. Ezután felmerült az a kérdés, amelyre egy prospektív felvételi szabálynak választ kellett volna adnia: mi történne a szabály által ajánlott ellátás mellett?

112. A történeti adatok nem tartalmazták ugyanazon személy mindkét lehetséges kezelésének közvetlen megfigyelését.

113. Még a kiválasztott adatokon elvégzett kiváló előrejelzés is csupán azt vizsgálná, hogy a modell mennyire jól jósolta meg az eredményeket nagyjából hasonló ellátási minták mellett, de nem állapítaná meg, hogy egy új felvételi politika milyen következményekkel járna.

114. Az asztma-együttható megjelenítése semmiképpen sem pótolhatná az összehasonlítás hiányzó felét .

115. Egy hasznos modell továbbra is segíthetne az orvosoknak, de értékelni kellene azt a döntést, amelyet támogatni hivatott, beleértve a megváltozott gyakorlat kimeneteleit is.

116. Egy ilyen értékelésnek azt is figyelembe kellene vennie, hogy a személyzet reagál-e a pontszámra, hogy reakcióik befolyásolják-e, ki részesül ellátásban, és hogy a későbbi teljesítményjelentéseket tévesen a kezeletlen kockázatra vonatkozó bizonyítéknak tekintik-e.

117. Éppen ezért egy múltbeli előrejelzés helyes magyarázata pontosan ott maradhat el, ahol a döntésnek következményei vannak .

118. A modell megmondhatja az orvosnak, miért alacsony a pontszám, míg az orvosnak kell eldöntenie, hogy az ellátás szintjének csökkentése megváltoztatná-e azokat a körülményeket, amelyek miatt alacsony lett a pontszám .

119. A kutatási beszámolóban ennek a különbségnek a felismerése megakadályozta, hogy egy nem biztonságos következtetést kész felvételi szabályként kezeljenek.

120. Az olvasható jellemző figyelmeztetés volt, nem pedig engedély.

121. Értéke abban rejlett, hogy lehetőséget adott az embereknek arra, hogy megkérdőjelezzék a modellt, mielőtt a pontszám kezelési döntéssé szilárdulna .

122. E kérdés nélkül a látszólag megnyugtató „asztma” szó miatt a helytelen intézkedés jól megalapozottnak tűnhetett volna.

1. In einem Modell zur Einschätzung des Lungenentzündungsrisikos schien eine Asthmaanamnese die Sterbewahrscheinlichkeit eines Patienten zu senken.

2. Das war die erkennbare Regel.

3. Für ein Krankenhaus, das über die Aufnahme von Patienten entscheiden musste, war dies zugleich eine Warnung, die als nützliche Information getarnt war .

4. Richard Caruana und seine Kollegen beschrieben diese Regel in einem 2015 veröffentlichten Forschungsbericht, der auf Patientendaten aus den 1990er Jahren basierte .

5. Das Modell hatte aus diesen Unterlagen ein tatsächliches Muster abgeleitet: Patienten mit Lungenentzündung und Asthma starben seltener als die Vergleichsgruppe, obwohl sie an einer Erkrankung litten, die ihre Krankheit verschlimmern konnte .

6. Das Muster bedeutete nicht, dass Asthma eine schützende Wirkung hatte.

7. Diese Patienten wurden oft umgehend aufgenommen und besonders intensiv betreut, einschließlich einer Behandlung auf einer Intensivstation.

8. Die Unterlagen erfassten somit die Ergebnisse nach der bereits erfolgten Versorgung, während die vorgeschlagene Entscheidung darauf abzielte, was passieren könnte, wenn manche Patienten außerhalb des Krankenhauses behandelt würden.

9. Dieselbe Anamnese konnte daher gleichzeitig auf zwei Dinge hindeuten: auf die Gefährdung eines Patienten vor der Behandlung und auf einen Behandlungsverlauf, der die für die Forscher sichtbare Sterblichkeitsrate bereits gesenkt hatte .

10. Die eine Frage blickte rückwärts, die andere nach vorne .

11. Wenn ein niedriges vorhergesagtes Sterberisiko dazu beitrug, die Entlassung eines Patienten nach Hause zu rechtfertigen, könnte das Modell genau jene Versorgung wegnehmen, die mit diesem beobachteten niedrigen Risiko verbunden war.

12. Die Forscher erkannten die Gefahr, bevor sie eine solche Regel in eine klinische Studie einbrachten.

13. Der Zweck der Sterbevorhersage bestand darin, die Aufnahme zu steuern; daher wurde ein Muster, das zur Beschreibung der bestehenden Versorgung akzeptabel sein mochte, gefährlich, wenn es dazu verwendet wurde, zu entscheiden, wer diese Versorgung erhalten sollte.

14. Ihr Bericht dokumentiert keinen Fall, in dem einem Patienten aufgrund dieses Modells die Aufnahme verweigert wurde, und er enthält keine Aufstellung der Schäden, die durch einen tatsächlichen Einsatz entstanden wären.

15. Das beunruhigende Ergebnis war ein aufgedeckter Weg, der zu Fehlern führen konnte.

16. Es zeigt auch, warum das Wort „Erklärung“ ein präzises Objekt benötigt.

17. Die lesbare Regel erklärte einen Beitrag zu einer Vorhersage: Wenn der Asthma-Indikator vorlag, senkte das Modell seine Schätzung.

18. Sie erklärte nicht, warum die Patienten in den zugrunde liegenden Unterlagen überlebten, geschweige denn, was eine bestimmte Person nun benötigte.

19. Um diese Lücke zu erkennen, verfolgen Sie den erfassten Patienten im Zeitverlauf.

20. Bei der Aufnahme stellte ein Arzt eine Lungenentzündung und eine Asthmaanamnese fest; danach prägten Behandlungsentscheidungen das in den Daten erfasste Ergebnis, sodass die beobachtete Sterblichkeitsrate bereits die im Verlauf getroffenen Entscheidungen widerspiegelte .

21. Als ein Modell später diese Datensätze untersuchte, konnte es Asthma mit dem Ergebnis in Verbindung bringen, ohne die dazwischenliegende Intervention darzustellen.

22. Das ist ein Problem der Fragestellung, die den Daten gestellt wurde.

23. Das Modell sollte die beobachteten Todesfälle unter der tatsächlich erhaltenen Versorgung vorhersagen, nicht Todesfälle im Rahmen eines alternativen Plans, bei dem die Aufnahme verweigert worden wäre.

24. In der Sprache der Statistik ist dies eine Änderung der Bedingungen, unter denen ein Ergebnis zustande kommt, aber der praktische Punkt ist klar: Die vorgeschlagene Regel würde die Behandlung ändern, auf der ihre eigenen Erkenntnisse beruhen .

25. Keine noch so aufwendige Berechnung kann diese beiden Ziele in ein und dasselbe verwandeln.

26. Die Unterscheidung ist besonders wichtig, wenn die Vorhersage die Behandlung verändert, die die Trainingsdaten überhaupt erst hervorgebracht hat.

27. Eine Regel kann vollkommen nachvollziehbar sein und dennoch in eine gefährliche Richtung weisen .

28. Caruana und Kollegen hatten im Rahmen des früheren Projekts Modelle verglichen und schwer interpretierbare neuronale Netze für klinische Tests in diesem Umfeld als zu riskant eingestuft .

29. Stattdessen verwendeten sie besser interpretierbare Ansätze .

30. Ihre Sorge war, dass ein undurchsichtiges Modell andere klinisch bedenkliche Muster enthalten könnte, die seine Nutzer nicht ohne Weiteres überprüfen könnten, selbst wenn seine Gesamtvorhersagen im Vergleich zu denen einfacherer Modelle gut abschneiden würden .

31. Diese Sorge sollte nicht zu der Schlussfolgerung führen, dass ein bestimmtes verstecktes Netzwerk die Asthma-Regel nachweislich auf genau dieselbe Weise anwendet .

32. In ihrer späteren Studie fanden die Forscher das Asthma-Muster erneut in einem Modell, dessen einzelne Merkmalsbeiträge dargestellt werden konnten.

33. Die Merkmalskurve machte den negativen Einfluss einer Asthmaanamnese auf den Score deutlich .

34. Diese Sichtbarkeit ermöglichte eine klinische Überprüfung und mögliche Anpassung des Musters – ein praktischer Vorteil, den die aggregierte Genauigkeit allein nicht geboten hätte .

35. Ein Durchschnittswert für den gesamten Datensatz hätte günstig aussehen können, selbst wenn das Modell einer kleineren Gruppe, deren frühere Versorgung sich von der aller anderen unterschied, einen gefährlich beruhigenden Score zugewiesen hätte.

36. Die Anpassung einer Kurve ist jedoch ein Eingriff in ein Modell und kein Beweis dafür, dass die überarbeitete Aufnahmerichtlinie den Patienten zugutekommt, da die Folgen einer veränderten Versorgung über die Trainingsdaten hinaus noch nicht geklärt sind .

37. Durch die Änderung des Koeffizienten lässt sich das unbeobachtete Ergebnis eines Patienten, der keine intensive Behandlung erhalten hat, nicht nachbilden.

38. Auch lässt sich anhand eines beobachteten Zusammenhangs allein nicht messen, inwieweit die Behandlung bei einem einzelnen Patienten für die niedrigere Sterblichkeitsrate verantwortlich war.

39. Die Darstellung der Forscher bietet eine überzeugende Erklärung dafür, wie das irreführende Muster entstehen konnte, und stützt sich dabei auf die dokumentierte Behandlungspraxis .

40. Sie gibt den Forschern einen Grund, Aufnahmedaten, Behandlungsintensität und Ergebnisse gemeinsam zu untersuchen, lässt dabei jedoch offen, inwieweit jede einzelne Intervention dazu beigetragen hat und ob sich das Muster an anderer Stelle wiederholen würde.

41. Es handelt sich nicht um ein Experiment, das den Behandlungseffekt isoliert.

42. Dies ist von Bedeutung, da eine Erklärung vier verschiedene Fragen beantworten kann, die oft in einer einzigen Forderung nach Transparenz zusammengefasst werden.

43. Erstens: Inwiefern trug der erfasste Asthma-Indikator zum Wert dieses Modells bei?

44. Hier war die Antwort ungewöhnlich leicht zu ermitteln: Er senkte den Risikowert, wobei die anderen Eingabewerte des Modells berücksichtigt wurden.

45. Zweitens: Warum zeigte sich in den historischen Daten ein negativer Zusammenhang?

46. Die Beantwortung dieser Frage erforderte Kenntnisse über die Praktiken bei der Einweisung und auf der Intensivstation, nicht nur eine weitere Darstellung der Modellgewichte.

47. Drittens: War die beobachtete Mortalität die richtige Größe, um eine Entscheidung über die Einweisung vorherzusagen?

48. Dazu musste das Ergebnis der Daten mit den Folgen einer veränderten Versorgung verglichen werden – eine Frage, die kein Feature-Plot allein klären konnte.

49. Viertens: Welche Gründe stützen die tatsächliche Behandlungsentscheidung für die Person, die vor einem Kliniker sitzt?

50. Die Antwort muss den aktuellen Zustand der Person, die verfügbaren Optionen und die Unsicherheit hinsichtlich jeder Option umfassen .

51. Die vier Fragen hängen zusammen, können sich jedoch nicht gegenseitig ersetzen.

52. Ein einfaches Modell mag seine Berechnung klar darlegen, während es das falsche Ziel getreu berechnet.

53. Ein komplexes Modell kann auf einem Testdatensatz gute Vorhersagen liefern und dabei eine klinisch bedeutsame Abhängigkeit verbergen, die einer Überprüfung bedarf.

54. Weder „einfach“ noch „genau“ ist ein Synonym für fundiertes Urteilsvermögen.

55. Selbst der scheinbar unscheinbare Ausdruck „wegen Asthma“ kann irreführend sein, wenn er den Umfang der Aussage verschleiert.

56. Es könnte bedeuten, dass Asthma ein bestimmtes Modellergebnis verändert hat, dass Asthma Patienten kennzeichnete, die eine andere Versorgung erhielten, oder dass Asthma selbst das Risiko eines unbehandelten Patienten veränderte.

57. Nur der erste Fall war im Merkmalsbeitrag direkt sichtbar, während der zweite von der Darstellung der historischen Versorgung durch die Forscher und von der umfassenderen klinischen Interpretation abhing, wie die Behandlung das beobachtete Ergebnis prägte .

58. Der dritte Fall ließ sich aus der Kurve nicht ableiten.

59. Dieser Unterschied bestimmt, was eine nützliche Erklärung enthalten sollte, wenn ein Modell in einen realen Entscheidungsprozess einfließt .

60. Jemand muss in der Lage sein, die Zahl auf ihre erfassten Eingaben zurückzuverfolgen und zu fragen, ob diese Eingaben korrekt gemessen wurden .

61. Jemand muss auch fragen, was mit den Menschen geschah, deren Daten die offensichtliche Erkenntnis lieferten .

62. Wenn die Behandlung sowohl das beobachtete Ergebnis als auch die Bedeutung eines Merkmals verändert, beginnt die Erklärung der Vorhersage außerhalb des Modells.

63. Zu dieser externen Vorgeschichte gehören Entscheidungen von Klinikern, verfügbare Krankenhausbetten und Messpraktiken – nichts davon wird sichtbar, nur weil ein Diagramm eine klare Linie vom Merkmal zum Ergebnis zieht .

64. Das Problem wird noch schwieriger, wenn eine Erklärung eher als überzeugendes Bild denn als lesbare Regel vorliegt .

65. Stellen Sie sich einen Bildklassifikator vor, der von einer farbigen Karte begleitet wird, die Teile des Bildes hervorhebt .

66. Die Farben scheinen anzugeben, wohin das Modell geschaut hat.

67. Doch eine Karte kann dem Objekt im Bild ähneln, ohne getreu wiederzugeben, was das trainierte Modell zu erkennen gelernt hat, da die Darstellungsmethode möglicherweise hauptsächlich auf die Bildstruktur reagiert und nicht auf die gelernten Gewichte .

68. Im Jahr 2018 unterzogen Julius Adebayo und Kollegen mehrere Methoden zur Erstellung solcher Salienzkarten einer anspruchsvollen Überprüfung.

69. Sie änderten die Gewichte des trainierten Modells, teilweise Schicht für Schicht, und untersuchten, ob sich die resultierenden Karten entsprechend änderten.

70. Sie testeten zudem, was geschah, wenn die Beziehungen zwischen Bildern und Beschriftungen während des Trainings randomisiert wurden.

71. Bei einigen Methoden blieben die hervorgehobenen Bilder auffallend ähnlich, selbst nachdem diese Änderungen die gelernte Beziehung, die die Erklärung eigentlich aufzeigen sollte, zunichte gemacht hatten .

72. Andere Methoden reagierten auf die Änderungen .

73. Die Erkenntnis bezog sich daher auf bestimmte Arten der Kartenerstellung und bestimmte Tests, nicht auf ein Urteil gegen jede visuelle Erklärung.

74. Die Autoren stellten einen Kontrast innerhalb der von ihnen untersuchten Methoden fest, was von Bedeutung ist, da eine Karte, die sich ändert, wenn sich das gelernte Modell ändert, möglicherweise noch weiterer Tests bedarf, bevor man ihrer offensichtlichen Gewichtung vertrauen kann.

75. Ihre Stärke liegt in einer einfachen Forderung: Wenn eine Darstellung behauptet, das zu zeigen, was dieses Modell gelernt hat, sollte eine Änderung dessen, was das Modell gelernt hat, sich auch auf die Darstellung auswirken .

76. Die Tests liefern keine perfekte Karte der Erklärungsqualität.

77. Gal Yona und Daniel Greenfeld argumentierten später, dass Merkmale der getesteten Aufgaben einige ungünstige Ergebnisse erklären und die ursprünglichen Schlussfolgerungen einschränken könnten .

78. Diese Kritik schränkt die Schlussfolgerung ein, ohne die visuelle Überprüfung allein zu einem zuverlässigen Ersatz für eine Überprüfung zu machen .

79. Die Karte muss ihre Bedeutung erst noch verdienen .

80. Bevor ein Bewerter einen farbigen Bereich als Beweis für eine erlernte Entscheidungsregel wertet, muss er sicherstellen, dass die Darstellung auf die relevanten Veränderungen des Modells reagiert und die gestellte Frage beantwortet .

81. Es besteht ein Unterschied zwischen dem Auffinden von Pixeln, die eine Berechnung beeinflussen, und der Erklärung, warum ein Ereignis in der realen Welt stattgefunden hat.

82. Es gibt noch einen weiteren Unterschied zwischen diesen beiden Fällen und der Begründung einer Entscheidung, die eine Person betrifft.

83. Ein heller Fleck auf einem Bild könnte die Reaktion eines Modells auf diese Eingabe widerspiegeln, vorausgesetzt, die Darstellungsmethode hat relevante Tests bestanden, doch seine Farben bedürfen dennoch einer Interpretation, die an eine bestimmte Frage geknüpft ist.

84. Er kann für sich allein weder eine Diagnose noch die Zuverlässigkeit der Kennzeichnung noch die Richtigkeit der anschließend ergriffenen Maßnahme begründen.

85. Die Lungenentzündungs-Merkmalskurve und die Salienz-Karte versagen auf unterschiedliche Weise, wenn ihnen zu viel abverlangt wird.

86. In der Lungenentzündungsstudie lieferte die Kurve Aufschluss über das Modell und trug dazu bei, eine gefährliche Diskrepanz zum vorgeschlagenen Einsatzzweck aufzudecken, da die Forscher ihre Richtung mit dem Behandlungsverlauf in den Akten in Verbindung bringen konnten.

87. In Adebayos Experimenten waren einige ansprechende Karten unzuverlässig, selbst als Darstellungen des gelernten Modells unter den gewählten Prüfbedingungen.

88. Eine Erklärung deckte ein Problem auf, das über sie selbst hinausging; eine andere Art verbarg manchmal ihre eigene Schwäche.

89. Dieser Kontrast verlagert die praktische Frage von der Frage, ob ein System eine Erklärung liefern kann, hin zu der Frage, welche Behauptung seine Erklärung tatsächlich bestätigt hat.

90. Ein Ingenieur, der ein Modell debuggt, muss möglicherweise wissen, welches Merkmal oder welche Interaktion einen Score verändert hat, wie empfindlich diese Veränderung gegenüber veränderten Daten ist und ob dieselbe Abhängigkeit auch bei einem erneuten Training bestehen bleibt.

91. Die Antwort lässt sich anhand veränderter Eingaben und Modellversionen überprüfen .

92. Ein unabhängiger Gutachter benötigt mehr als eine Demonstration anhand eines ausgewählten Falls: eine Dokumentation des Ziels, der Datenerhebung, der Fehlermuster, der Überarbeitungen und der Leistung bei relevanten Populationen .

93. Diese Aufzeichnungen ermöglichen es, zu hinterfragen, ob die behauptete Erklärung über ein sorgfältig ausgewähltes Beispiel hinaus Bestand hat .

94. Beispielsweise kann ein Gutachter die angegebene Rolle von Asthma mit Fehlern über verschiedene Patientengruppen hinweg und mit Überarbeitungen vergleichen, die vorgenommen wurden, nachdem Kliniker ein Merkmal in Frage gestellt hatten, anstatt sich mit einem einzigen Demonstrationsbild zufrieden zu geben.

95. Ein Kliniker benötigt Informationen, die zur jeweiligen Entscheidung passen, einschließlich der aktuellen Symptome des Patienten, plausibler Risiken eines Abwartens und des Unterschieds zwischen einer Prognose unter üblicher Versorgung und einer unter einem geänderten Plan.

96. Das eigentliche Bedürfnis des Patienten lässt sich einfacher formulieren.

97. Die Person sollte in der Lage sein zu verstehen, welche erfassten Fakten von Bedeutung waren und welche Gründe die vorgeschlagene Versorgung tatsächlich stützten, ohne dass ihr eine technische Darstellung vorgelegt wird, als wäre diese der Grund selbst.

98. Diese Zielgruppen verlangen keine vier unvereinbaren Wahrheiten.

99. Sie untersuchen verschiedene Glieder derselben Kette von der Messung über die Vorhersage bis hin zur Maßnahme, und ein Bruch an einem beliebigen Glied kann die endgültige Entscheidung unhaltbar machen .

100. Die Kette erklärt auch, warum der uneingeschränkte Zugriff auf den Code, obwohl er manchmal wertvoll ist, nicht jede Frage beantwortet.

101. Entscheidend ist, ob jede Darstellung mit dem übereinstimmt, was sie angeblich darstellt: Ein Datenfeld muss zum Patienten passen, ein vorhergesagtes Ergebnis muss dem beabsichtigten Verwendungszweck entsprechen und eine Begründung muss mit der Entscheidung übereinstimmen.

102. Der Code kann offenlegen, wie eine Zahl aus gespeicherten Werten berechnet wurde.

103. Er kann jedoch nicht sagen, ob die gespeicherten Werte den Patienten genau beschreiben, ob die bisherige Versorgung das beobachtete Ergebnis verzerrt hat oder ob der gewählte Schwellenwert dem richtigen klinischen Zweck dient.

104. Ein vollkommen transparenter Score kann mit bewundernswerter Konsistenz eine unangemessene Empfehlung aussprechen .

105. Auch eine überzeugende Erklärung in natürlicher Sprache behebt ein fehlerhaftes Modell nicht, nur weil sie dessen Berechnung in einfachen Worten beschreibt.

106. Wird die Erklärung nach der Vorhersage generiert, muss sie auf Übereinstimmung mit der tatsächlichen Grundlage dieser Vorhersage überprüft werden.

107. Schätzt die Vorhersage selbst das falsche Ergebnis für die geplante Intervention ein, ist eine getreue Erklärung nur der Anfang der Untersuchung, denn eine transparente Darstellung eines falschen Ziels kann die darauf aufbauende Maßnahme nicht validieren.

108. Die Asthma-Regel veranschaulicht diesen Ablauf konkret.

109. Zunächst verband das Modell in seinen Daten Asthma mit einer niedrigeren erfassten Sterblichkeit unter den behandelten Patienten.

110. Dann brachten die Forscher klinisches Wissen in diesen Zusammenhang ein und erkannten, dass eine ungewöhnlich intensive Versorgung eine plausible Erklärung dafür bot.

111. Als Nächstes stellte sich die Frage, die eine prospektive Aufnahmeregel beantworten müsste: Was würde unter der von der Regel empfohlenen Versorgung geschehen?

112. In den historischen Aufzeichnungen wurden nicht beide möglichen Behandlungen für dieselbe Person direkt beobachtet.

113. Selbst eine hervorragende Vorhersage anhand von „Held-out“-Datensätzen würde lediglich testen, wie gut ein Modell Ergebnisse unter annähernd ähnlichen Versorgungsmustern vorhersagt, nicht aber feststellen, was eine neue Aufnahmepolitik bewirken würde.

114. Keine Darstellung des Asthma-Koeffizienten könnte diese fehlende Hälfte des Vergleichs ausfüllen .

115. Ein nützliches Modell könnte Ärzten zwar weiterhin helfen, müsste jedoch im Hinblick auf die Entscheidung, die es unterstützen soll, evaluiert werden – einschließlich der Ergebnisse einer veränderten Praxis.

116. Eine solche Evaluierung müsste auch berücksichtigen, ob das Personal auf den Score reagiert, ob diese Reaktionen beeinflussen, wer behandelt wird, und ob spätere Leistungsberichte fälschlicherweise als Beleg für ein unbehandeltes Risiko gewertet werden.

117. Deshalb kann eine korrekte Erklärung einer vergangenen Vorhersage genau dort zu kurz greifen, wo eine Entscheidung folgenreich wird.

118. Das Modell mag einem Kliniker erklären, warum sein Wert niedrig ist, während der Kliniker entscheiden muss, ob eine Verringerung des Versorgungsniveaus genau jene Bedingungen verändern würde, die den Wert niedrig gemacht haben .

119. In der Forschungsdarstellung verhinderte das Erkennen dieses Unterschieds, dass eine unsichere Schlussfolgerung als fertige Aufnahmeregel behandelt wurde.

120. Die Lesbarkeit war eine Warnung, kein Freibrief.

121. Ihr Wert lag darin, den Menschen einen Anhaltspunkt zu geben, an dem sie das Modell hinterfragen konnten, bevor sich ein Wert zu einer Behandlungsentscheidung verfestigte .

122. Ohne diese Frage hätte das scheinbar beruhigende Wort „Asthma“ eine falsche Maßnahme als gut begründet erscheinen lassen können.