10.7 – A tanuló rendszerekért való felelősség – Verantwortung für lernende Systeme

1. 2020 áprilisában a Michigani Egyetem ápolói arról számoltak be, hogy a szepszis-figyelmeztető rendszer túl sok riasztást generált .

2. A kórház felfüggesztette a riasztásokat.

3. Ez a döntés három–négy héttel azután született, hogy az intézményben először kórházba vették egy COVID-19-es beteget, amikor a rendszer működési feltételei jelentősen megváltoztak .

4. A riasztás az Epic Sepsis Modelből származott, amely az elektronikus egészségügyi nyilvántartásokban már rögzített információkat használta fel arra, hogy jelölje meg azokat a betegeket, akiknél szepszis alakulhat ki, még mielőtt állapotuk egyértelművé válna .

5. A szepszis károsíthatja a szerveket, és időszerű döntést igényel .

6. A modell felhívhatta a figyelmet egy betegre, de nem tudta diagnosztizálni az állapotromlás minden okát, és nem tudta eldönteni, hogy antibiotikumot kell-e adni.

7. Riasztása egy olyan munkahelyre érkezett, ahol az ápolók figyelmét már egyébként is igénybe vették.

8. Amikor ez a munkahely megváltozott, egy látszólag apró kérdés sürgetővé vált: ki tudhatta, hogy a riasztások még mindig hasznosak-e?

9. Az ápolók beszámolhattak arról, amit láttak, de nem tudták ellenőrizni a modellbe beépített minden feltételezést, összehasonlítani a modell betanítási populációját az új betegeikkel, vagy átalakítani a kórház riasztási szabályzatát .

10. A fejlesztő leírhatta a modellt, de távolról nem tudta megfigyelni, milyen terhet jelent az egyes osztályok számára.

11. A kórháznak ezeknek a korlátoknak a között kellett cselekednie.

12. A riasztások felfüggesztése ezért az ellátással kapcsolatos döntés volt, nem pedig annak elismerése, hogy minden riasztás téves volt.

13. A személyzetnek akkoriban jelentései voltak, nem pedig egy többközpontos elemzés .

14. Ez a későbbi tanulmány lehetővé teszi számunkra, hogy lássuk a méretbeli változást anélkül, hogy úgy tennénk, mintha az eredmények rendelkezésre álltak volna azok számára, akik az áprilisi döntést hozták.

15. A kutatók 24 kórház modellpontszámait vizsgálták négy amerikai egészségügyi rendszerben, az egyes kórházak napi létszámadatait a rendszerükben a COVID-19-cel kórházba került első beteg érkezéséhez igazítva .

16. Ettől a ponttól számított három héttel korábban a kórházak napi létszámadatai alapján 10 159 beteg közül átlagosan 953 generált riasztást.

17. Három héttel később a 6 634 beteg közül 1 363 váltott ki riasztást .

18. A riasztást kiváltó betegek száma 43 százalékkal nőtt, miközben a kórházba felvett betegek száma körülbelül egyharmadával csökkent.

19. A riasztást kiváltó betegek aránya több mint megduplázódott.

20. Ezek összesített adatok voltak, nem pedig Michigan riasztásainak száma.

21. A tanulmány azt sem vizsgálta, hogy az egyes riasztások helyesen jelezték-e a szepszist.

22. Egy túlterhelt munkatárs számára egy pontos riasztás is zavaró lehet, ha nincs kapacitása annak kivizsgálására, míg egy téves riasztás plusz munkát jelent a remélt klinikai haszon nélkül.

23. Mindkét lehetőség fontos, és a számok önmagukban nem árulják el azok arányát .

24. A pandémia megváltoztatta a kórházba kerülő betegek összetételét, mivel a tervezett beavatkozásokat lemondták, így a súlyosabb betegek nagyobb arányban foglalták el az ágyakat, miközben az összes betegszám csökkent.

25. A COVID-19 tovább bonyolította a bakteriális szepszis felismerésére és kezelésére épülő rutinokat is.

26. A pontozási szabály változatlan maradhatott, miközben a munkaterhelés megváltozott.

27. Ez a tanuló rendszer törékenységének egyik jelentése: korábbi tesztelése egy adott populációhoz, klinikai gyakorlathoz és időponthoz kötődik.

28. A modellnek nem kellett átírnia önmagát ahhoz, hogy a kórházban tanúsított viselkedése megváltozzon.

29. Különböző bemeneti adatok gyakrabban léphetik át a rögzített küszöbértéket, és ennek a küszöbértéknek a hasznossága a betegség prevalenciájával és tünetképeivel egyaránt változhat, még akkor is, ha minden számítás az eredeti utasításokat követi .

30. Ha ezt úgy neveznénk, hogy a modell minden egyes kezelésből tanult, az olyan mechanizmust feltételezne, amelyet a tanulmány nem igazolt .

31. A megkülönböztetés azért fontos, mert a különböző változások különböző ellenőrzéseket igényelnek.

32. Egy új betegösszetétellel szembesülő kórház áttekintheti a jelenlegi teljesítményt és a munkafolyamatot akkor is, ha a telepített modell verziója nem változott, mivel a pontszám és a hasznos válasz közötti kapcsolat részben a környezettől függ .

33. Ha egy fejlesztő újratréningezi a modellt és új súlyozásokat bocsát ki, az új verziót is validálni kell, mint megváltozott terméket .

34. Egyik típusú felülvizsgálat sem zárul le egyetlen pontossági értékkel.

35. Egy riasztás értéke attól függ, hogy elég korán érkezik-e, felhívja-e a figyelmet egy olyan betegre, akit egyébként esetleg figyelmen kívül hagynának, és olyan intézkedéshez vezet-e, amelyet az orvosok felelősségteljesen megtehetnek .

36. Attól is függ, hogy milyen munkát igényel a riasztás nyomon követése.

37. A küszöbérték csökkentése több potenciális esetet foghat meg, de azt is eredményezheti, hogy az ápolók több olyan beteget kell értékeljenek, akik soha nem fogják elérni a meghatározott szepszis-kimenetelt, ezzel elvonva a figyelmet a kórterem más területeiről.

38. A küszöbérték emelése csökkentheti a zavaró tényezőket, ugyanakkor több eset maradhat észrevétlen.

39. Egyetlen küszöbérték sem kerülheti el ezt a kompromisszumot pusztán a kifinomultság révén.

40. A kórháznak a betegeinek, a személyzeti létszámának és a rendelkezésre álló reagálási lehetőségeknek a fényében kell dönteni, majd mérnie kell, hogy ez a döntés valójában milyen hatással jár.

41. Ez különböző feladatokat ró a fejlesztőre és a klinikára.

42. A fejlesztő meghatározza a modell felépítését, a betanítási módszert és a tervezett felhasználási célt, majd dokumentálja a tesztelés során azonosítható korlátokat, beleértve azt is, hogy mely populációk és klinikai környezetek szerepeltek az adott bizonyítékokban .

43. A dokumentációjának egyértelművé kell tennie, hogy a kórház milyen bemeneti és kimeneti adatokat kap, és milyen típusú validáció támasztja alá az azokról tett állításokat.

44. A klinika dönti el, hogy az adott termék alkalmas-e a betegeire, és hogy a riasztás hogyan illeszkedik be a saját klinikai munkafolyamatába, ahol egy figyelmeztetés hasznos információvá válhat, vagy csak egy újabb követelményré a zsúfolt műszakban .

45. Emellett olyan gyakorlati döntéseket is irányít, mint például, hogy ki kapja meg a figyelmeztetést, milyen küszöbérték váltja ki azt, és hogyan kezelik az ismétlődő riasztásokat .

46. Az ápolónak vagy az orvosnak továbbra is meg kell vizsgálnia az ágyban fekvő beteget.

47. A klinikusok jelenthetik a félrevezető vagy túlzott figyelmeztetéseket, és más klinikai bizonyítékokat is felhasználhatnak, ha a modell nem ad választ .

48. Önmagukban azonban nem tudják rekonstruálni a fejlesztő képzési adatait, és nem írhatják át az intézményi irányelveket a betegek látogatásai között .

49. A vezetőknek és a kijelölt felügyeleti szerveknek biztosítaniuk kell, hogy ezek a jelentések eredményre vezessenek azáltal, hogy kijelölnek valakit az intézkedések felülvizsgálatára, a változtatások jóváhagyására és szükség esetén az eszköz felfüggesztésére, egyértelmű útvonalat biztosítva ahhoz, hogy az első vonalbeli aggályok eljussanak ehhez a személyhez .

50. A felelősség csak akkor válik valósággá, ha minden szerepkörnek van feladata és a végrehajtásához szükséges eszköze is .

51. Ezen megbízás hiányában mindenki feltételezheti, hogy valaki más már ellenőrizte .

52. Az eredeti modellre vonatkozó külső tanulmány szigorúbb tesztet jelent, mint pusztán a riasztások számának vizsgálata.

53. A pandémiát megelőzően a Michigan Medicine-ben történt 38 455 kórházi felvétel adatai alapján a kutatók értékelték, hogyan teljesített a modell abban a konkrét környezetben, ami lehetővé tette számukra, hogy a riasztásokat ne pusztán számolják, hanem egy meghatározott klinikai kimenetellel hasonlítsák össze.

54. Az általuk vizsgált küszöbértéknél 6 971 kórházi felvétel esetén – azaz a teljes szám 18 százalékánál – legalább egy riasztás keletkezett volna .

55. Az elemzés azt is megállapította, hogy a modell a 2 552 szepszis-eset közül 1 709-et nem azonosított a meghatározott kimeneteli pont előtt .

56. Ez az esetek körülbelül kétharmadát jelenti.

57. Az adatok rávilágítanak arra, miért kell a kórházaknak mind a riasztások által okozott munkaterhelést, mind a riasztás nélkül maradt eseteket vizsgálniuk.

58. Nem azt mutatják, hogy 1 709 beteg nem kapott klinikai ellátást, hogy mindannyian profitáltak volna egy korábbi modellriasztásból, vagy hogy a riasztórendszer bármely konkrét halálesetet okozott volna .

59. Valójában a modell által nem jelzett sok beteg a kutatók definíciója szerint mégis időben kapott antibiotikumot.

60. A klinikai ellátás és a modell kimenete egymást átfedő információforrások voltak, nem pedig azonos pályák .

61. Ezért a kimaradt eseteket nem lehet egyszerűen hozzáadni a riasztási terheléshez, mintha mindkettő ugyanazt a mulasztást mérné .

62. A külső validáció azt vizsgálta, hogy egy meglévő modell megkülönbözteti-e a betegeket egy kórházi rendszerben egy explicit definíció és küszöbérték alapján, olyan korábbi adatok felhasználásával, amelyek a végső kimeneteleket láthatóvá tették a kutatók számára .

63. Nem rendelte minden későbbi kimenetelt egy-egy riasztáshoz.

64. A 24 kórházat felölelő tanulmány a riasztások mennyiségének változását mérte .

65. A tanulmányok összevetése egy olyan gyakorlati problémát tár fel, amelyet egyik sem tud önmagában megoldani.

66. Egy intézménynek tudnia kell mind azt, hogy mit jósol a modell, mind azt, hogy mi történik, amikor az emberek versengő igények közepette a jóslatok alapján cselekszenek, mert egy látszólag hasznos riasztás is kudarcot vallhat, ha rossz időben vagy rossz formában érkezik .

67. Egy ígéretes pontszám is jelenthet rossz zavaráskezelési politikát.

68. Ezzel szemben a túlterhelt riasztási csatorna nem bizonyítja, hogy az alapul szolgáló előrejelzések nem tartalmaznak hasznos információt .

69. A szüneteltetésre vonatkozó döntésnek ezért vizsgálódáshoz kell vezetnie, nem pedig egy olyan történethez, amelyben az eszközt egy csapásra vagy felmentik, vagy elítélik .

70. Először azt kell mérni, ami a figyelmeztetéseket fogadó személyzet számára látható .

71. Feljegyezhetik a műszakonkénti riasztások számát, hogy több is ugyanarra a betegre vonatkozik-e, és mennyi időt vesz igénybe a reagálás, majd összehasonlíthatják ezt a terhet a kórterem változó kapacitásával.

72. Jelentéseik olyan változásokat is feltárhatnak, amelyeket az előrejelzési pontszámokból álló irányítópult esetleg nem vesz észre, beleértve azokat a megszakításokat is, amelyek akkor érkeznek, amikor a kórteremben túl kevés ember van ahhoz, hogy kivizsgálják őket.

73. A klinikai csapat ezután megvizsgálhatja a riasztással és anélkül előforduló esetekből vett mintákat, hogy megnézze, a jelzés megérkezett-e még mielőtt hasznos döntést lehetett volna hozni .

74. Ehhez a felülvizsgálathoz szükség van a szepszis definíciójára, egy időablakra, valamint arra, hogy rögzítsék, mit tudtak már az orvosok .

75. Az időzítés megváltoztatja a sikeres előrejelzés jelentését.

76. Emellett előfordulhat, hogy egy elmulasztott modellriasztást tévesen egy elmulasztott betegnek tekintenek.

77. Az intézkedéseket egy kijelölt döntéshozóval kell párosítani, aki képes a küszöbérték módosítására, az irányítás megváltoztatására vagy szünet elrendelésére, ha a bizonyítékok azt mutatják, hogy a jelenlegi rendszer már nem szolgálja a betegek érdekeit.

78. A döntéshozatali jogkör nélküli mérés csupán a következő műszak számára biztosít jobb dokumentációt ugyanarról a terhről.

79. A mérési adatok nélküli döntéshozatal azzal a kockázattal jár, hogy egy hasznos figyelmeztetést elhallgattatnak, mivel annak költségei könnyebben észrevehetők, mint az előnyei .

80. A verziónyilvántartások további szintet jelentenek az elszámoltathatóságban.

81. Ha a kórház nem tudja megállapítani, melyik modell és küszöbérték eredményezte a riasztást, akkor egy későbbi felülvizsgálat során nem lehet megbízhatóan összekapcsolni az eredményt azzal a rendszerrel, amely azt generálta.

82. A verzióváltozást dátummal kell ellátni, le kell írni, és össze kell vetni az előző verzióval azon a populáción, ahol azt alkalmazni fogják, hogy a látszólagos javulást meg lehessen különböztetni a megváltozott küszöbértéktől vagy a betegek összetételétől .

83. Egy riasztórendszer esetében az összehasonlításnak ki kell terjednie a munkaterhelésre, valamint a kiválasztott kimenetelt elérő és nem elérő betegek közötti megkülönböztetésre is.

84. A gyártó bizonyítékokat szolgáltathat a fejlesztésből és más helyszínekről.

85. A helyi alkalmazhatóság továbbra is a kórház feladata .

86. A frissített modell hasznos tesztet nyújt e munkamegosztásra .

87. Egy 2026-ban publikált tanulmányban a kutatók prospektív módon vizsgálták a szepszis-modell második verzióját négy amerikai egészségügyi rendszerben .

88. A tanulmány több mint 227 000 fekvőbeteg-ellátást vizsgált, és a kutatók által alkalmazott mérőszámok alapján jobb megkülönböztetést talált az eredeti verzióhoz képest, ugyanakkor továbbra is jelentős különbségeket jelentett a részt vevő rendszerek között .

89. Az egyes ellátások szintjén a frissített modell képessége a szepszisben szenvedő és nem szenvedő esetek rangsorolására jelentősen eltért a négy rendszer között .

90. Pozitív prediktív értéke alacsony maradt, és a riasztások terhe továbbra is aggodalomra adott okot.

91. A betegek rangsorolásának javulása jelentőségteljes, de ez nem azonos azzal, hogy a riasztások alkalmazása megmentette a betegeket vagy javította ellátásukat, mivel a predikció és az annak alapján tett lépések következményei különböző kérdésekre adnak választ .

92. A tanulmány a predikció prospektív értékelése volt, nem pedig a klinikai kimenetelek randomizált vizsgálata két riasztási szabályzat alkalmazása mellett.

93. A tanulmány nem állapít meg közvetlen kapcsolatot a michigani szüneteltetéssel.

94. A különböző verziók, küszöbértékek, betegösszetételek és kimeneteli definíciók miatt egy egyszerű „előtte-utána” történet félrevezető lehet .

95. Az újabb bizonyítékok inkább a ismételt helyi tesztelés mellett szólnak.

96. Ez azt mutatja, hogy egy modell egy bizonyos mutató szerint javulhat, miközben a kórházak továbbra is eltérő számú cselekvésre okot adó figyelmeztetéssel és eltérő gyakorlati költségekkel szembesülnek .

97. Ez a kihívása annak a rendszernek, amelynek fejlesztése a bevezetés után is folytatódik.

98. A tanulás azt jelentheti, hogy az emberek bizonyítékokat gyűjtenek, felülvizsgálják a modellt, és tesztelik az új verziót, mielőtt használatba vennék; nem feltétlenül jelenti azt, hogy a szoftver minden egyes betegellátás után megváltoztatja a súlyozásait .

99. A tervezett változás szabályozható.

100. Bizonyos mesterséges intelligenciával ellátott orvostechnikai eszközök esetében az amerikai Élelmiszer- és Gyógyszerügyi Hivatal (FDA) 2025-ös iránymutatása olyan tervet ír le, amely meghatározza a tervezett módosításokat, azok kidolgozásának és validálásának módszereit, valamint hatásuk értékelését.

101. Az elképzelés összekapcsolja a javasolt frissítést azzal a bizonyítékkal, hogy mi fog történni, mielőtt a változást gyakorlatba ültetnék, így egy tervezett fejlesztés nem válhat a klinikusok által az eszközre támaszkodás feltételeinek vizsgálat nélküli módosításává .

102. Ez az iránymutatás nem engedélyezi a korlátlan önmódosítást, és szabályozási hatályát nem szabad úgy értelmezni, hogy minden kórházi riasztásra kiterjed .

103. Általánosabb tanulsága inkább szervezeti jellegű, mintsem e modell jogi státuszára vonatkozó állítás.

104. Ha változás várható, valakinek meg kell határoznia annak határait, nyilvántartást kell vezetnie a verziókról, és el kell döntenie, milyen bizonyíték indokolná az egyik verzióról a következőre való áttérést.

105. Egy kórház akkor is alkalmazhatja ezt a fegyelmet, ha azonnali problémája egy változó világhoz igazodó, rögzített modell .

106. A megkülönböztetés azt is tisztázza, mit jelent itt a felelősség.

107. A modell része annak az ok-okozati láncnak, amely figyelmeztetést eredményez, de nem felel a kiválasztott célokért, a megállapított küszöbértékért vagy a várakozásra kényszerített betegért.

108. Az emberek és az intézmények különböző arányban rendelkeznek ezekkel a hatáskörökkel.

109. A riasztások száma nem rendezheti a sérülésért fennálló jogi felelősséget.

110. Az erkölcsi felelősség még szűkebb körű, mint azoknak a listája, akik a megfelelő információkkal és hatáskörrel megelőzhették volna a problémát.

111. A szerepek előzetes kijelölésének célja az, hogy lehetővé váljon a helyzet orvoslása, mielőtt egy bíróságnak vagy nyilvános vizsgálatnak utólag kellene rekonstruálnia azokat, amikor a hiányzó nyilvántartások és a homályos hatáskörök miatt akár a döntések sorrendjét is nehéz lehet rekonstruálni.

112. Egy gyártó nem tudja egyedül ellenőrizni, hogy egy adott osztály hány zavaró tényezőt képes elviselni.

113. Egy orvos nem tud egyszerre ellenőrizni a képzési adatokat, meghatározni a kórházi irányelveket és gondoskodni a betegekről .

114. Mindazonáltal mindegyikük továbbadhat olyan bizonyítékokat, amelyeket a következő felelős fél felhasználni tud.

115. A kör megszakad, amikor egy ápoló jelentése anekdotaként végződik, amikor egy kimutatott problémának nincs felelőse, vagy amikor egy frissítés nyomon követhető összehasonlítás nélkül jelenik meg.

116. Akkor működik, ha egy figyelmeztetést be lehet jelenteni, számba venni, megvizsgálni, és a felhatalmazással rendelkező személyek módosíthatják vagy leállíthatják, miközben a klinikusok továbbra is rendelkeznek egy működőképes módszerrel arra, hogy az adott pontszámon túl is észrevegyék a betegségeket.

117. A leállításnak megvannak a maga feltételei.

118. Ha egy riasztási csatornát szüneteltetnek, a kórháznak továbbra is szüksége van egy bevált módszerre, amellyel figyelemmel kísérheti azokat a jeleket, amelyeket az adott csatorna hivatott jeleníteni, és valakinek ellenőriznie kell, hogy a helyettesítő eljárás a kórtermi körülmények között is működik-e .

119. Ez magában foglalhat klinikai megfigyelést és egyéb bevált eljárásokat, de azok megfelelőségét ellenőrizni kell, ahelyett, hogy pusztán a személyzet jelenlétéből feltételeznénk.

120. Michiganben a következményes intézkedés nem csupán a jelzés elnémítása volt; hanem annak felismerése, hogy a jelzés munkát rótt azokra az emberekre, akik jelenthették volna annak korlátait.

121. A riasztást kikapcsoló gomb csak akkor hasznos, ha egy felelős szervezet látja, mi kell bekapcsolva maradnia.

1. Im April 2020 berichteten Pflegekräfte an der University of Michigan, dass ein Sepsis-Warnsystem zu viele Warnmeldungen auslöste.

2. Das Krankenhaus setzte die Warnmeldungen aus.

3. Diese Entscheidung fiel drei bis vier Wochen nach der ersten Einweisung eines COVID-19-Patienten, als sich die Bedingungen, unter denen das System arbeitete, drastisch verändert hatten.

4. Die Warnung stammte vom „Epic Sepsis Model“, das bereits in elektronischen Patientenakten erfasste Informationen nutzte, um Patienten zu identifizieren, bei denen sich eine Sepsis entwickeln könnte, noch bevor ihr Zustand eindeutig erkennbar war .

5. Eine Sepsis kann Organe schädigen und erfordert eine rechtzeitige Beurteilung.

6. Das Modell konnte zwar auf einen Patienten aufmerksam machen, war jedoch weder in der Lage, jede Ursache für eine Verschlechterung zu diagnostizieren, noch zu entscheiden, ob Antibiotika verabreicht werden sollten .

7. Seine Warnmeldungen trafen in einem Arbeitsumfeld ein, das ohnehin schon die volle Aufmerksamkeit der Pflegekräfte erforderte.

8. Als sich dieser Arbeitsalltag veränderte, wurde eine scheinbar nebensächliche Frage plötzlich dringlich: Wer konnte beurteilen, ob die Warnmeldungen noch hilfreich waren?

9. Die Pflegekräfte konnten zwar berichten, was sie beobachteten, aber sie konnten nicht jede im Modell zugrunde gelegte Annahme überprüfen, dessen Trainingspopulation mit ihren neuen Patienten vergleichen oder die Warnrichtlinien des Krankenhauses neu gestalten.

10. Der Entwickler konnte das Modell zwar beschreiben, aber die Belastung einer bestimmten Station aus der Ferne nicht beobachten.

11. Das Krankenhaus musste im Spannungsfeld zwischen diesen Grenzen handeln.

12. Die Aussetzung der Warnmeldungen war daher eine Entscheidung über die Versorgung und kein Eingeständnis, dass jede Warnmeldung falsch war.

13. Dem Personal standen damals Berichte zur Verfügung, keine multizentrische Analyse .

14. Diese spätere Studie lässt uns die Veränderung im Ausmaß erkennen, ohne so zu tun, als hätten die Entscheidungsträger im April bereits über diese Ergebnisse verfügt.

15. Die Forscher untersuchten die Modellwerte von 24 Krankenhäusern in vier US-amerikanischen Gesundheitssystemen und ordneten die täglichen Patientenzahlen jedes Krankenhauses dem Zeitpunkt der Einlieferung des ersten mit COVID-19 hospitalisierten Patienten in das jeweilige System zu.

16. Drei Wochen vor diesem Zeitpunkt lösten durchschnittlich 953 von 10.159 Patienten in der täglichen Patientenzählung der Krankenhäuser einen Alarm aus.

17. Drei Wochen danach waren es 1.363 von 6.634.

18. Die Zahl der Patienten, für die eine Warnung ausgelöst wurde, stieg um 43 Prozent, obwohl die Zahl der hospitalisierten Patienten um etwa ein Drittel sank.

19. Der Anteil der Patienten, die Warnungen auslösten, hat sich mehr als verdoppelt.

20. Dabei handelte es sich um aggregierte Zahlen, nicht um die Alarmzahlen aus Michigan.

21. Die Studie prüfte auch nicht, ob jede Warnung eine Sepsis korrekt vorhersagte.

22. Ein überlasteter Mitarbeiter empfindet eine korrekte Warnmeldung möglicherweise als störend, wenn keine Kapazitäten vorhanden sind, ihr nachzugehen, während eine Fehlwarnung zusätzliche Arbeit verursacht, ohne den erhofften klinischen Nutzen zu bringen.

23. Beide Möglichkeiten sind von Bedeutung, und die Zahlen allein können uns nichts über ihr Verhältnis zueinander sagen.

24. Die Pandemie veränderte die Zusammensetzung der Patienten, die in Krankenhäuser aufgenommen wurden, da elektive Eingriffe abgesagt wurden, sodass Patienten mit schwereren Erkrankungen einen größeren Anteil der Betten belegten, obwohl die Gesamtzahl der Patienten zurückging.

25. COVID-19 erschwerte zudem die Routinen, die auf der Erkennung und Behandlung bakterieller Sepsis basierten.

26. Die Bewertungsregel konnte unverändert bleiben, während sich die Arbeitsbelastung änderte.

27. Das ist eine Bedeutung der Anfälligkeit eines lernenden Systems: Seine früheren Tests beziehen sich auf eine bestimmte Population, klinische Praxis und einen bestimmten Zeitpunkt.

28. Das Modell musste sich nicht neu schreiben, damit sich sein Verhalten im Krankenhaus änderte.

29. Unterschiedliche Eingabewerte können einen festen Schwellenwert häufiger überschreiten, und die Aussagekraft dieses Schwellenwerts kann sich sowohl mit der Prävalenz als auch mit dem Krankheitsbild ändern, selbst wenn jede Berechnung den ursprünglichen Anweisungen folgt.

30. Dies als ein Modell zu bezeichnen, das aus jeder Behandlung gelernt hat, würde einen Mechanismus implizieren, den die Studie nicht nachgewiesen hat.

31. Die Unterscheidung ist wichtig, da unterschiedliche Veränderungen unterschiedliche Überprüfungen erfordern.

32. Ein Krankenhaus, das mit einer neuen Patientenstruktur konfrontiert ist, kann die aktuelle Leistung und den Arbeitsablauf überprüfen, selbst wenn sich die installierte Modellversion nicht geändert hat, da der Zusammenhang zwischen einem Score und einer sinnvollen Reaktion teilweise vom jeweiligen Kontext abhängt.

33. Wenn ein Entwickler das Modell neu trainiert und neue Gewichte veröffentlicht, muss die neue Version ebenfalls als verändertes Produkt validiert werden .

34. Keine der beiden Arten der Überprüfung beschränkt sich auf einen einzigen Genauigkeitswert.

35. Der Wert einer Warnmeldung hängt davon ab, ob sie früh genug eintrifft, die Aufmerksamkeit auf einen Patienten lenkt, der andernfalls möglicherweise übersehen würde, und zu einer Maßnahme führt, die das medizinische Personal verantwortungsvoll ergreifen kann .

36. Er hängt auch von dem Aufwand ab, der für die Nachverfolgung erforderlich ist.

37. Ein Schwellenwert mag bei einer Herabsetzung mehr potenzielle Fälle erfassen, kann aber auch dazu führen, dass Pflegekräfte mehr Patienten untersuchen müssen, die das festgelegte Sepsis-Kriterium niemals erfüllen werden, wodurch Aufmerksamkeit beansprucht wird, die an anderer Stelle auf der Station benötigt wird.

38. Eine Anhebung des Schwellenwerts kann Unterbrechungen verringern, lässt jedoch mehr Fälle unerkannt.

39. Kein Schwellenwert kann diesem Zielkonflikt allein durch seine Ausgereiftheit entgehen.

40. Das Krankenhaus muss seine Entscheidung unter Berücksichtigung seiner Patienten, des Personals und der verfügbaren Reaktionsmöglichkeiten treffen und anschließend messen, welche Auswirkungen diese Entscheidung tatsächlich hat .

41. Dies weist dem Entwickler und der Klinik unterschiedliche Aufgaben zu.

42. Der Entwickler wählt die Struktur des Modells, den Trainingsansatz und den Verwendungszweck aus und dokumentiert anschließend die Grenzen, die er durch Tests identifizieren kann, einschließlich der Frage, welche Populationen und klinischen Umgebungen in diesen Evidenzdaten vertreten waren .

43. Aus seiner Dokumentation sollte klar hervorgehen, welche Eingaben und Ausgaben ein Krankenhaus erhält und welche Art von Validierung die dafür gemachten Aussagen stützt.

44. Die Klinik entscheidet, ob dieses Produkt für ihre Patienten geeignet ist und wie eine Warnmeldung in ihren eigenen klinischen Arbeitsablauf integriert wird – wo eine Warnung zu nützlicher Information oder zu einer weiteren Anforderung in einer überlasteten Schicht werden kann.

45. Sie regelt auch praktische Entscheidungen wie die Frage, wer eine Warnung erhält, welcher Schwellenwert sie auslöst und wie wiederholte Warnmeldungen behandelt werden.

46. Eine Pflegekraft oder ein Arzt muss die Person im Bett weiterhin selbst beurteilen.

47. Kliniker können irreführende oder übermäßige Warnungen melden und andere klinische Erkenntnisse heranziehen, wenn ein Modell keine Aussage trifft.

48. Sie können jedoch nicht eigenständig die Trainingsdaten des Entwicklers rekonstruieren oder die institutionellen Richtlinien zwischen den Patientenbesuchen neu festlegen.

49. Führungskräfte und benannte Aufsichtsgremien müssen dafür sorgen, dass diese Meldungen Wirkung zeigen, indem sie jemanden damit beauftragen, Maßnahmen zu überprüfen, Änderungen zu genehmigen und ein Tool bei Bedarf außer Betrieb zu nehmen – mit einem klaren Weg, über den Bedenken aus der Praxis diese Person erreichen können.

50. Verantwortung wird erst dann wirklich greifbar, wenn jede Rolle sowohl eine Aufgabe als auch die Mittel zu deren Erfüllung hat .

51. Ohne diese Zuweisung kann jeder davon ausgehen, dass jemand anderes die Überprüfung vorgenommen hat .

52. Eine externe Studie des ursprünglichen Modells stellt eine strengere Prüfung dar als die bloße Zählung der Warnmeldungen.

53. Anhand von Daten aus 38.455 Krankenhausaufenthalten bei Michigan Medicine vor der Pandemie bewerteten die Forscher, wie sich das Modell in diesem speziellen Umfeld bewährt hat, was es ihnen ermöglichte, seine Warnungen mit einem definierten klinischen Ergebnis zu vergleichen, anstatt lediglich die Anzahl der Warnmeldungen zu zählen.

54. Bei dem von ihnen untersuchten Schwellenwert wäre bei 6.971 Krankenhausaufenthalten – also 18 Prozent der Gesamtzahl – mindestens ein Alarm ausgelöst worden .

55. Die Analyse ergab zudem, dass das Modell 1.709 von 2.552 Sepsis-Fällen vor dem festgelegten Ergebniszeitpunkt nicht identifiziert hatte .

56. Das sind etwa zwei Drittel dieser Fälle.

57. Die Zahlen zeigen, warum ein Krankenhaus sowohl die durch Warnungen verursachte Arbeitsbelastung als auch die Fälle untersuchen sollte, bei denen keine Warnungen ausgegeben wurden.

58. Sie zeigen nicht, dass 1.709 Patienten keine klinische Versorgung erhielten, dass alle von einer früheren Modellwarnung profitiert hätten oder dass das Warnsystem einen bestimmten Todesfall verursacht hätte.

59. Tatsächlich erhielten viele Patienten, die vom Modell nicht markiert wurden, nach der Definition der Forscher dennoch rechtzeitig Antibiotika.

60. Klinische Versorgung und Modellergebnisse waren sich überschneidende Informationsquellen, keine identischen Verläufe .

61. Deshalb können übersehene Fälle nicht einfach zur Alarmbelastung hinzugerechnet werden, als ob beide dasselbe Versagen messen würden.

62. Bei der externen Validierung wurde untersucht, ob ein bestehendes Modell Patienten nach einer expliziten Definition und einem Schwellenwert in einem Krankenhaussystem unterscheiden konnte, wobei historische Aufzeichnungen herangezogen wurden, die den Forschern die späteren Ergebnisse sichtbar machten .

63. Dabei wurde nicht jedes spätere Ergebnis einer einzelnen Warnung zugeordnet.

64. Die Studie mit 24 Krankenhäusern maß das sich ändernde Alarmvolumen .

65. Die Zusammenführung der Studien offenbart ein praktisches Problem, das keine der beiden Studien allein lösen kann.

66. Eine Einrichtung muss sowohl wissen, was ein Modell vorhersagt, als auch, was passiert, wenn Menschen angesichts konkurrierender Anforderungen auf diese Vorhersagen reagieren, denn eine scheinbar nützliche Warnung kann versagen, wenn sie zum falschen Zeitpunkt oder in der falschen Form eintrifft .

67. Ein vielversprechender Score kann dennoch eine schlechte Unterbrechungsrichtlinie sein.

68. Umgekehrt beweist ein überfüllter Alarmkanal nicht, dass die zugrunde liegenden Vorhersagen keine verwertbaren Informationen enthalten .

69. Die Entscheidung, eine Pause einzulegen, sollte daher zu weiteren Untersuchungen führen und nicht zu einer Geschichte, in der das Tool mit einem Schlag entweder rehabilitiert oder verurteilt wird .

70. Was zuerst gemessen werden sollte, ist für das Personal, das die Warnungen erhält, offensichtlich .

71. Es kann die Anzahl der Warnmeldungen pro Schicht erfassen, ob sich mehrere auf denselben Patienten beziehen und wie viel Zeit eine Reaktion in Anspruch nimmt, und diese Belastung dann mit der sich ändernden Kapazität der Station vergleichen.

72. Seine Berichte können Veränderungen aufzeigen, die ein Dashboard mit Vorhersagewerten möglicherweise übersieht, darunter Unterbrechungen, die eintreffen, während auf der Station zu wenig Personal vorhanden ist, um sie zu untersuchen.

73. Das klinische Team kann dann Stichprobenfälle mit und ohne Warnmeldungen untersuchen, um festzustellen, ob die Warnung eintraf, bevor eine sinnvolle Entscheidung getroffen werden konnte .

74. Diese Überprüfung erfordert eine Definition von Sepsis, ein Zeitfenster und eine Aufzeichnung dessen, was den Klinikern bereits bekannt war.

75. Der Zeitpunkt verändert die Bedeutung einer erfolgreichen Vorhersage .

76. Er kann auch dazu führen, dass eine übersehene Modellwarnung fälschlicherweise als übersehener Patient gewertet wird.

77. Die Maßnahmen müssen mit einem namentlich benannten Entscheidungsträger gekoppelt sein, der den Schwellenwert anpassen, die Weiterleitung ändern oder eine Pause anordnen kann, wenn die Erkenntnisse zeigen, dass die aktuelle Regelung den Patienten nicht mehr dient.

78. Messungen ohne Entscheidungsbefugnis liefern der nächsten Schicht lediglich eine bessere Dokumentation derselben Belastung.

79. Eine Entscheidung ohne Messung birgt die Gefahr, dass eine nützliche Warnung unterdrückt wird, da ihre Kosten leichter zu erkennen sind als ihr Nutzen .

80. Versionsprotokolle sorgen für eine zusätzliche Ebene der Nachvollziehbarkeit.

81. Wenn das Krankenhaus nicht feststellen kann, welches Modell und welcher Schwellenwert einen Alarm ausgelöst haben, lässt sich bei einer späteren Überprüfung ein Ergebnis nicht zuverlässig mit dem System in Verbindung bringen, das es erzeugt hat.

82. Eine Versionsänderung sollte datiert, beschrieben und anhand der vorherigen Version in der Population, in der sie eingesetzt wird, überprüft werden, damit eine scheinbare Verbesserung von einem geänderten Schwellenwert oder einer veränderten Patientenzusammensetzung unterschieden werden kann.

83. Bei einem Warnsystem muss der Vergleich sowohl die Arbeitsbelastung als auch die Unterscheidung zwischen Patienten berücksichtigen, die das gewählte Ergebnis erfüllen, und solchen, die es nicht erfüllen.

84. Der Hersteller kann Nachweise aus der Entwicklung und von anderen Standorten vorlegen.

85. Die lokale Anpassung bleibt Aufgabe des Krankenhauses .

86. Ein aktualisiertes Modell bietet einen nützlichen Test für diese Arbeitsteilung .

87. In einer 2026 veröffentlichten Studie untersuchten Forscher prospektiv die zweite Version des Sepsis-Modells in vier US-amerikanischen Gesundheitssystemen .

88. Die Studie umfasste mehr als 227.000 stationäre Behandlungsfälle und ergab nach den von den Forschern verwendeten Maßstäben eine bessere Unterscheidungskraft als die ursprüngliche Version, wobei jedoch weiterhin erhebliche Unterschiede zwischen den teilnehmenden Systemen festgestellt wurden.

89. Auf der Ebene der einzelnen Behandlungsfälle variierte die Fähigkeit des aktualisierten Modells, Fälle mit und ohne Sepsis einzustufen, erheblich zwischen den vier Systemen.

90. Sein positiver prädiktiver Wert blieb niedrig, und die Alarmflut gab weiterhin Anlass zur Sorge.

91. Eine Verbesserung bei der Einstufung von Patienten ist zwar bedeutsam, bedeutet jedoch nicht, dass der Einsatz der Warnmeldungen Patienten gerettet oder ihre Versorgung verbessert hat, da die Vorhersage und die Konsequenzen des darauf basierenden Handelns unterschiedliche Fragen beantworten .

92. Bei der Studie handelte es sich um eine prospektive Bewertung der Vorhersage, nicht um einen randomisierten Test klinischer Ergebnisse unter zwei Warnrichtlinien .

93. Die Studie stellt keinen direkten Zusammenhang mit der „Pause“ in Michigan her.

94. Unterschiedliche Versionen, Schwellenwerte, Patientengruppen und Ergebnisdefinitionen machen eine einfache Vorher-Nachher-Darstellung irreführend .

95. Die neueren Erkenntnisse sprechen vielmehr für wiederholte lokale Tests .

96. Sie zeigen, dass sich ein Modell in einer Kennzahl verbessern kann, während Krankenhäuser weiterhin mit einer unterschiedlichen Anzahl umsetzbarer Warnungen und unterschiedlichen praktischen Kosten konfrontiert sind .

97. Das ist die Herausforderung eines Systems, dessen Entwicklung nach der Einführung weitergeht.

98. Lernen kann bedeuten, dass Menschen Erkenntnisse sammeln, das Modell überarbeiten und eine neue Version testen, bevor sie diese einsetzen; es muss nicht bedeuten, dass die Software ihre Gewichtungen nach jeder Patientenbegegnung ändert.

99. Geplante Änderungen lassen sich steuern.

100. Für bestimmte KI-gestützte Medizinprodukte beschreibt eine Leitlinie der US-amerikanischen Food and Drug Administration (FDA) aus dem Jahr 2025 einen Plan, der beabsichtigte Modifikationen, Methoden zu deren Entwicklung und Validierung sowie eine Bewertung ihrer Auswirkungen festlegt.

101. Der Ansatz verknüpft eine vorgeschlagene Aktualisierung mit Belegen darüber, welche Auswirkungen sie haben wird, bevor die Änderung in die Praxis umgesetzt wird, sodass eine geplante Verbesserung nicht zu einer ungeprüften Änderung der Bedingungen werden kann, unter denen Ärzte sich auf ein Gerät verlassen.

102. Diese Leitlinie erlaubt keine unbegrenzte Selbstmodifikation, und es sollte nicht davon ausgegangen werden, dass ihr regulatorischer Geltungsbereich jeden Krankenhausalarm abdeckt.

103. Die allgemeinere Lehre daraus ist eher organisatorischer Natur als eine Aussage über den rechtlichen Status dieses Modells.

104. Wenn eine Änderung zu erwarten ist, sollte jemand deren Grenzen definieren, ein Versionsprotokoll führen und entscheiden, welche Erkenntnisse den Übergang von einer zur nächsten Version rechtfertigen würden.

105. Ein Krankenhaus kann diese Vorgehensweise auch dann anwenden, wenn sein unmittelbares Problem darin besteht, dass ein festes Modell auf eine veränderte Welt trifft .

106. Die Unterscheidung verdeutlicht auch, was Verantwortung in diesem Zusammenhang bedeutet.

107. Das Modell ist Teil der Kausalkette, die eine Warnung auslöst, aber es kann keine Rechenschaft über die gewählten Ziele, den festgelegten Schwellenwert oder den wartenden Patienten ablegen.

108. Menschen und Institutionen verfügen in unterschiedlichem Maße über diese Befugnisse.

109. Eine Alarmstatistik kann die rechtliche Haftung für einen Schaden nicht klären.

110. Moralische Schuld ist noch enger gefasst als die Liste all derer, die mit den richtigen Informationen und Befugnissen ein Problem hätten verhindern können.

111. Der Sinn der Vorabzuweisung von Rollen besteht darin, Abhilfe zu schaffen, bevor ein Gericht oder eine öffentliche Untersuchung diese im Nachhinein rekonstruieren muss – wenn fehlende Aufzeichnungen und unklare Zuständigkeiten es sogar schwierig machen können, den Ablauf der Entscheidungen nachzuvollziehen.

112. Ein Hersteller kann nicht im Alleingang kontrollieren, wie viele Unterbrechungen eine bestimmte Station verkraften kann.

113. Ein einzelner Arzt kann nicht gleichzeitig die Ausbildungsdaten überprüfen, die Krankenhausrichtlinien festlegen und Patienten versorgen .

114. Doch jeder kann Erkenntnisse weitergeben, die der nächste Verantwortliche nutzen kann .

115. Der Kreislauf bricht zusammen, wenn der Bericht einer Pflegekraft als Anekdote endet, wenn ein festgestelltes Problem keinen Verantwortlichen hat oder wenn eine Aktualisierung ohne nachvollziehbaren Vergleich erscheint.

116. Er funktioniert, wenn eine Warnung gemeldet, gezählt, untersucht und von Personen mit der entsprechenden Befugnis geändert oder gestoppt werden kann, während das klinische Personal weiterhin eine praktikable Möglichkeit behält, Erkrankungen über diesen bestimmten Wert hinaus zu erkennen.

117. Das Stoppen unterliegt eigenen Bedingungen.

118. Wird ein Alarmkanal pausiert, benötigt das Krankenhaus dennoch eine erprobte Methode, um auf die Anzeichen zu achten, die dieser Kanal eigentlich hätte melden sollen, und jemand muss überprüfen, ob das Ersatzverfahren unter den tatsächlichen Bedingungen auf der Station funktioniert.

119. Dies kann klinische Beobachtung und andere etablierte Verfahren beinhalten, doch deren Angemessenheit muss überprüft werden und darf nicht allein aufgrund der Anwesenheit von Personal vorausgesetzt werden.

120. In Michigan bestand die daraus resultierende Maßnahme nicht einfach darin, ein Signal stummzuschalten; vielmehr ging es darum, anzuerkennen, dass ein Signal denjenigen Arbeit auferlegte, die über dessen Grenzen berichten konnten.

121. Der Knopf, der einen Alarm ausschaltet, ist nur dann nützlich, wenn eine verantwortungsbewusste Organisation erkennen kann, was weiterhin aktiv bleiben muss.