10.2 – Célok, adatok és rejtett értékelések – Ziele, Daten und verborgene Wertungen

1. Vegyünk két beteget, akik egy-egy helyért versengenek egy olyan programban, amely bonyolult orvosi ellátás koordinálását segíti.

2. Az előre jelzett kiadásuk megegyezik .

3. Mégis az egyikük lényegesen betegebb lehet, mert az egy személyre fordított összeg nem csak a betegségtől függ, hanem attól is, hogy elérhetőek voltak-e a rendelések, elrendelték-e a vizsgálatokat, és megkapta-e a kezelést .

4. A jövőbeli számlák alapján készült rangsor egy helyre sorolná őket .

5. A betegség alapján készült rangsor viszont talán nem.

6. Ez a megkülönböztetés akkor válik fontossá, amikor az ellátócsapat a pontszámot a programban elfoglalt helyre váltja, mivel a kívül maradt beteg soha nem kaphatja meg azt a segítséget, amelyet a szám eredetileg irányozott .

7. Egy 2019-es tanulmányban Ziad Obermeyer és kollégái megvizsgáltak egy erre a kiválasztásra kifejlesztett kereskedelmi algoritmust, nyomon követve, hogyan vált a pénzre vonatkozó előrejelzés emberekről szóló ítéletgé .

8. Az algoritmus a korábbi ellátások adataira támaszkodott, és előre jelezte a későbbi egészségügyi költségeket.

9. A szervezetek a kockázati pontszámokat használták fel arra, hogy kiválasszák azokat a betegeket, akik további segítségre szorulnak, például a kezelés intenzívebb koordinációjára – ez egy olyan beavatkozás, amely a személyzet idejét igényli, és nem nyújtható egyszerre mindenkinek.

10. A gép nem találta ki a program célját.

11. Az emberek döntöttek úgy, hogy egyes betegek részesüljenek a szűkös extra figyelemben, és az algoritmus lehetőséget nyújtott arra, hogy egy nagy populációban rangsorolják a jelölteket anélkül, hogy az orvosoknak minden adatlapot a nulláról kezdve át kellene vizsgálniuk.

12. Mit is kellene pontosan mérnie ennek a rangsorolásnak?

13. A válasz csak addig tűnik nyilvánvalónak, amíg meg nem kell valósítani .

14. Egy adminisztrátor esetleg az elkerülhető kiadásokat szeretné csökkenteni, egy klinikus a legsúlyosabb állapotú betegeket szeretné megtalálni, egy betegnek pedig segítségre lehet szüksége az ellátásban való eligazodáshoz, mielőtt válsághelyzet alakulna ki .

15. Ezek a célok átfedik egymást, de nem minden esetben ugyanazokat az embereket jelölik meg.

16. A jövőbeli költségek azért vonzóak, mert a biztosítási igénylések olyan formában rögzítik a kifizetéseket, amelyeket lehet számolni és előre jelezni, míg az a gondozás, amelyre egy személynek szüksége volt, de nem kapta meg, nem hagy maga után hasonló számlát.

17. A betegséget nehezebb egyetlen számba sűríteni .

18. Megjelenhet diagnózisokban, laboreredményekben, tünetekben, funkcionális korlátokban és olyan szükségletekben, amelyek soha nem eredményeztek számlát.

19. Ha a jövőbeli kiadásokat választjuk célként, egy kényelmes mérőszámot alakítunk át olyan kimenetellé, amelyet a modell megtanul előre jelezni, még akkor is, ha a program célja a betegségekkel kapcsolatos .

20. Ez a választás megelőzi az ügyes matematikai számításokat.

21. A kutatók azt találták, hogy azonos algoritmikus kockázati pontszám mellett a vizsgált populációban a fekete betegeknél lényegesen több aktív krónikus betegség fordult elő, mint a fehér betegeknél.

22. Az automatikus azonosítás küszöbértékéhez közel az átlagok rendre 4,8, illetve 3,8 betegség voltak.

23. Az összehasonlítás nem jelenti azt, hogy minden fekete beteg betegebb volt, mint minden azonos pontszámú fehér beteg; ezek az átlagok átfedő csoportokat foglalnak össze .

24. Ez azt mutatja, hogy a közös pontszám elrejtette a csoportok közötti szisztematikus betegségi különbséget, pontosan ott, ahol egy állítólagosan közös kockázati skála arra késztette volna a személyzetet, hogy az azonos pontszámokat azonos szükségletekként kezelje.

25. A kijelölt numerikus feladat tekintetében az algoritmus lényegesen jobbnak bizonyult.

26. Egy adott pontszámnál a fekete és fehér betegek nagyjából hasonló költségeket generáltak a következő évben, ami pontosan az, amire a költség-előrejelzőt betanították.

27. Előrejelzései jól kalibrálhatók voltak a kiadások tekintetében, mégis téves sorrendbe állíthatták az embereket, amikor a betegség volt a segítségnyújtás oka, mivel a kalibrálás arra ad választ, hogy az előrejelzett számlák egyeznek-e a tényleges számlákkal, nem pedig arra, hogy a megfelelő betegek kapnak-e támogatást.

28. Ez a központi eltérés .

29. A modell bemeneti adatai között szerepeltek a korábbi biztosítási igénylések, diagnózisok, beavatkozások, gyógyszerek és költségek, de a betanítás célja a későbbi egészségügyi kiadások voltak – ez a különbség könnyen elvész, ha mind a bemeneti, mind a kimeneti adatokat egészségügyi adatokként írják le .

30. Az adatok részletesek voltak ott, ahol egészségügyi ellátás történt.

31. Szükségszerűen szegényesebbek voltak ott, ahol a szükségletek nem vezettek rögzített szolgáltatásokhoz .

32. Amikor azonos mértékben beteg emberek eltérő mértékű ellátásban részesülnek, számláik az orvosi szükséglettől független okok miatt eltérhetnek, amit a modell reprodukálni tud.

33. A vizsgált populációban a fekete betegek alacsonyabb költségeket okoztak, mint a hasonló számú krónikus betegséggel rendelkező fehér betegek.

34. A kutatók az ilyen betegségek számát állandónak tartva évi körülbelül 1 800 dolláros különbséget becsültek.

35. Ez az adat a vizsgált populációra vonatkozik, nem pedig az egyenlőtlenség általános árcéduláját jelenti.

36. A rendelésre jutás akadályai, a kezelésbeli különbségek és a hozzáférés szervezése mind elválaszthatják az orvosi szükségletet az orvosi kiadásoktól.

37. A tanulmány képes volt azonosítani a kiadási különbséget és megvizsgálni a lehetséges okokat anélkül, hogy minden egyes dollárt egyetlen okhoz rendelt volna, mivel a költségtérítési igények önmagukban nem tudják rögzíteni a beteg tünetei és a teljes körű orvosi vizit között fennálló összes akadályt .

38. A korábbi számlák mindazonáltal iránymutatásul szolgáltak a jövőbeli számlákhoz.

39. Amint ez az irányelv a szükséglet helyébe lépett, az ellátás egyenlőtlen elosztása átkerült a rangsorba, annak ellenére, hogy az algoritmus kifejezetten nem vette figyelembe a faji hovatartozást bemeneti adatként .

40. A faji hovatartozásra vonatkozó mező törlése nem tudta kijavítani azt a problémát, amely már eleve tükrözte a hozzáférés és a kezelés terén fennálló különbségeket az összehasonlítható betegségben szenvedő betegek esetében.

41. Ugyanígy az sem vezetett volna automatikusan olyan ellátások feltárásához, amelyek soha nem történtek meg, ha több igénylést vettek volna figyelembe.

42. A hiba nem abban állt, hogy a számítógép nem tudott számolni.

43. Hanem abban, hogy egy kérdésre kiszámított számot egy másik kérdésre adott válaszként kezeltek .

44. A következmény a program küszöbértékénél vált láthatóvá.

45. Az általuk vizsgált egészségügyi rendszerben a kockázat 97. percentilisét meghaladó betegeket automatikusan kiválasztották a programba való felvételre, míg egy szélesebb csoportot orvosokhoz utaltak megfontolásra .

46. A küszöbérték a folytonos rangsort szűkös lehetőséggé alakítja.

47. Lehet, hogy valaki, aki éppen a küszöb alatt van, nagyobb betegségi terhet visel, mint valaki, aki éppen felette van, ha a rangsor a várható kiadásokat méri, és a határ átlépése határozza meg, kit jelölnek ki automatikusan további figyelemre .

48. A megfigyelt betegségi különbséget felhasználva a kutatók szimuláltak egy olyan kiválasztást, amely megszüntette a hasonló egészségi állapotú fekete és fehér betegek közötti szakadékot, azaz a küszöb felett lévő, egészségesebb embereket a küszöb alatt lévő, betegebb emberekkel helyettesítették.

49. Az automatikus kiválasztási küszöbértéknél a kiválasztott fekete betegek számított aránya 17,7 százalékról 46,5 százalékra emelkedett anélkül, hogy a program helyszámait növelték volna .

50. Ezek modellezett elosztások voltak, nem pedig olyan betegek, akiknél később megfigyelték, hogy kiegészítő ellátásban részesültek .

51. A szimuláció feltárja a célértékben és a küszöbértékben rejlő választás mértékét; nem tudja megállapítani, hogy az egyes újonnan kiválasztott személyek hogyan teljesítenének a programban.

52. A csapat egy másik célt is kipróbált, amely az egészségügyi és költségmutatókat ötvözte, miközben a keretrendszer nagy részét megtartotta, hogy tesztelje a modell előrejelzéseit.

53. Elemzésük szerint ez a változtatás 84 százalékkal csökkentette a hasonló pontszámú fekete betegek körében a krónikus betegségek túlzott előfordulásának egy bizonyos mutatóját, bár az eredmény a modellfejlesztésből származott, nem pedig a nyújtott ellátás mérhető javulásából.

54. Ez nem tette összhangba az igazságosság minden fogalmát.

55. Egy olyan program, amelynek célja a betegségek megelőzése, egy másik, amely a kiadások csökkentésére irányul, és egy harmadik, amely a jelenlegi legnagyobb terhet viselőket kívánja ellátni, eltérő bizonyítékokat igényel arra vonatkozóan, hogy ki részesül előnyben .

56. Még a jelenlegi betegség tökéletes mérése sem árulná el önmagában, hogy melyik beteg profitál leginkább egy adott beavatkozásból .

57. Ez a kérdés a kiegészítő ellátás hatását érinti, nem csupán a beavatkozás előtti betegség súlyosságát .

58. A gyakorlatban fennáll az a kísértés, hogy a könnyen elérhető célcsoportot úgy kezeljük, mintha az lenne a kiválasztott cél .

59. A megoldás azzal kezdődik, hogy a célt közérthető nyelven megfogalmazzuk, majd megkérdezzük, mit hagy ki az egyes rendelkezésre álló intézkedések .

60. Ez a feladat politikai és technikai jellegű is egyaránt, mivel a korlátozott számú helyet még mindig el kell osztani.

61. Nincs olyan képlet, amely eldönthetné ezt az elosztást anélkül, hogy indokot adna arra, miért részesítsünk előnyben egy igényt a másikkal szemben.

62. Az indokok azonban megfogalmazhatók és ellenőrizhetők .

63. Ha a cél a drága vészhelyzetek megelőzése, akkor a jövőbeli költségek relevánsak lehetnek, de az adminisztrátoroknak fel kell tenniük a kérdést, hogy a magasabb becsült költség azt is jelzi-e, hogy valakinek az esetében a kiegészítő ellátás megváltoztathatja a kimenetelt .

64. Ha a cél a legnagyobb kielégítetlen szükséglettel rendelkező emberek elérése, akkor a kiadások önmagukban különösen bizonytalan helyettesítőként szolgálnak, mert éppen azok az emberek, akiktől megtagadják a szolgáltatásokat, olcsónak tűnhetnek a rangsoroláshoz használt nyilvántartásokban .

65. A különbséget egészségügyi mutatók alapján lehet ellenőrizni, ahelyett, hogy egyszerűen figyelmen kívül hagynánk.

66. Ez azt is megváltoztatja, hogy a rendszert a bevezetés után hogyan kell értékelni .

67. A jövő évi számlákkal való pontosság a költség-előrejelzést teszteli; nem azt vizsgálja, hogy az elhanyagolt betegek egészségesebbek voltak-e, hogy szükségleteik továbbra is kielégítetlenek maradtak-e, vagy hogy a program nekik nagyobb hasznot hozott volna-e .

68. Előfordulhat, hogy egy irányítópult kiváló előrejelzési teljesítményt mutat, miközben az ellátási program elmulasztja azokat, akiknek elérésére létrehozták, ha az irányítópult a kiadásokhoz viszonyítva jelzi a hibákat, de soha nem hasonlítja össze a kiválasztott betegek egészségügyi szükségleteit .

69. Az egyik probléma az intézmény által választott céllal kapcsolatos .

70. A másik azokkal az adatokkal kapcsolatos, amelyekkel azokat az embereket képviselik, akiknek az eseteit az intézménynek meg kell ítélnie .

71. A kihagyott vizitek, a hiányos diagnózisok és az egyenetlen vizsgálatok miatt még egy orvosi szempontú mérőszám is kevésbé lehet teljes egyes betegek esetében, mint másoknál, különösen akkor, ha a nyilvántartás hiányát tévesen a betegség hiányának tekintik .

72. A harmadik probléma magában a mérésben rejlik: a rögzített diagnózis a betegség bizonyítéka, ugyanakkor a vizsgálattól és a dokumentációtól is függ, míg egy nem rögzített tünet láthatatlan maradhat minden olyan modell számára, amely kizárólag kódolt igénylésekből épül fel .

73. A negyedik probléma akkor jelentkezik, amikor egy pontszám megfelel egy intézkedési szabálynak.

74. Ekkor egy küszöbérték, a beutalási folyamat és a rendelési időpontok elérhetősége határozza meg, hogy egy szám valóban megváltoztatja-e az ellátást, így egy pontosabb becslés javíthatja a jelentést anélkül, hogy javítaná a beteg kezelését .

75. Ezek a hibák összeadódhatnak, de ha őket egyetlen, „torzítás” nevű homályos hibaként kezeljük, az mindegyik kijavítását megnehezíti .

76. A megkülönböztetés egy jól ismert téves megoldást is megakadályoz.

77. A több adat csak akkor segíthet a betegség azonosításában, ha releváns információval járul hozzá, és olyan módon gyűjtik, hogy ne reprodukálja egyszerűen a hozzáférésbeli hiányosságokat – ez a feltétel az adatgyűjtés és a számítások alapos vizsgálatát is megköveteli.

78. Egy gyanús változó eltávolítása fontos lehet, de más változók vagy maga a cél is továbbra is hordozhatja az egyenlőtlen kezelés hatásait, és a döntési szabály továbbra is egyenlőtlenül oszthatja el a lehetőségeket, még akkor is, ha a bemeneti lista megváltozik.

79. És egy igazságosabb becslés megakadhat, mielőtt eljutna a beteghez .

80. Egy másik klinikai számítás konkrét példával illusztrálja ezt az utolsó pontot.

81. Az orvosok gyakran használják a becsült glomeruláris szűrési sebességet (eGFR) annak értékelésére, hogy a vesék milyen hatékonyan szűrik a vért, laboratóriumi mérésre támaszkodva, ahelyett, hogy minden betegnél közvetlenül mérnék a szűrést.

82. A korábban általánosan használt egyenletek tartalmaztak faji kiigazítást, így ugyanaz a laboratóriumi eredmény eltérő becslést eredményezhetett egy „fekete”ként megjelölt beteg esetében, ami lehetséges következményekkel járhatott, ha a klinikai küszöbérték a számított értéktől függött.

83. 2021-ben egy közös veseügyi munkacsoport egy új, faji változót nem tartalmazó kreatinin-egyenletet ajánlott.

84. Arra is sürgette, hogy a kreatinin mellett nagyobb mértékben alkalmazzák a cisztatin C-t, amikor egy megerősítő értékelés segíthet.

85. Ez a klinikai becslés módosítását jelentette, nem pedig a költség-előrejelző algoritmus áttervezését .

86. A példák abban a pontban találkoznak, ahol a számított érték várhatóan irányt ad a szűkös klinikai figyelemnek, bár a vesefunkció becslése és a kiadási előrejelzés mögött álló tudományos kérdések nyilvánvalóan eltérőek .

87. A felülvizsgált vese-becslés megváltoztathatja a beteg látszólagos betegségi stádiumát, vagy átlépheti a beutalási küszöbértéket .

88. Az, hogy az adott személy szakorvoshoz kerül-e, attól függ, hogy a klinikusok hogyan értelmezik az eredményt, hogyan kezelik a beutalásokat, és hogy rendelkezésre áll-e időpont .

89. A megváltozott számtól a megváltozott ellátásig vezető út több lépcsőből áll.

90. A kutatók később megvizsgáltak egy olyan egészségügyi rendszert, amely 2021 decemberében vezette be a faji változótól mentes egyenletet.

91. Megfigyeléses tanulmányukban több mint 547 000 felnőtt adatait követték nyomon, akiknél 2019 és 2023 közötti időszakban releváns laboratóriumi mérést végeztek, ami lehetővé tette a kutatók számára, hogy összehasonlítsák a bevezetés körüli beutalási és vizit arányokat .

92. A képlet megváltoztatta a becsléseket és a besorolásokat, azonban a kutatók nem találtak mérhető növekedést a negyedéves nefrológiai beutalásokban vagy a feketének dokumentált betegek vizitjeiben .

93. Ez az eredmény nem bizonyítja, hogy a módosítás értelmetlen volt.

94. A képlet egy vitatott mérési gyakorlatra reagál, és egy személy eltérő klinikai besorolást kaphat akkor is, ha az összesített rendelési arány nem emelkedik, mivel a kórlapon szereplő címke csupán egy tényező a későbbi ellátásban.

95. Egy intézmény tapasztalatai sem állapíthatják meg, mi történt minden klinikán, és nem tárhatják fel az összes későbbi hatást .

96. Hatása szűkebb körű és hasznosabb.

97. A számítás megváltoztatása nem változtatja meg automatikusan annak a szervezetnek a kapacitását vagy viselkedését, amely azt alkalmazza, különösen akkor, ha a klinikusok a laboratórium képletváltása után is ugyanazzal a rendelési kínálattal és beutalási rutinokkal szembesülnek .

98. A beteg számára jelentős a különbség a kórtörténetben szereplő új szakasz és az ellátáshoz való új esély között.

99. A vese-képlet emellett eltér a betegek jövőbeli költségek alapján történő gépi tanulásos rangsorolásától is.

100. Az egyik a laboratóriumi értékekből becsüli meg egy fiziológiai mennyiséget; a másik az egészségügyi ellátás igénybevételének széles körű előzményeiből jósolja meg a pénzügyi kimenetelt, így a faj tényezőjének eltávolítása az egyik egyenletből nem jelent általános megoldást minden elfogult rangsor esetében .

101. Hibaik nem vonhatók össze egyetlen technikai receptbe.

102. Mindkettő azonban ugyanazt a kérdést veti fel a mérés és a cselekvés határán: mit is kell ennek a számnak itt elérnie?

103. Egy kórház őszintébben válaszolhat erre a kérdésre, ha a pontszám megvásárlása vagy kidolgozása előtt pontosan meghatározza a döntést .

104. Összehasonlíthatja a különböző valószínű célok alapján azonosított személyeket, megvizsgálhatja, kik esnek a küszöbérték közelébe, és ellenőrizheti, hogy a mért előnyök követik-e a felajánlott szolgáltatást, ahelyett, hogy győzelmet hirdetne, amint a pontszám előrejelzi a saját maga által választott célt.

105. Az ilyen vizsgálatoknak be kell vonniuk azokat a csoportokat is, amelyek adatai esetleg a legkevésbé teljesek, mivel az átlagos teljesítmény elrejtheti a következményes eltéréseket .

106. A vizsgálatnak arról is beszámolnia kell, hogy mi történik az azonosítás után.

107. Ha egyetlen ellátócsapatnak sincs helye további betegek számára, akkor a pontosabb rangsor önmagában nem teremtheti meg a hiányzó időpontokat.

108. A kapacitás is egy döntési változó, bár gyakran eltűnik azokból az értékelésekből, amelyek a modell előrejelzéseinél megállnak .

109. Ha a klinikusok eltérhetnek a rangsorolástól, akkor az eltérések okait és hatásait lehet vizsgálni, ahelyett, hogy minden eltérést hibának tekintenénk, mivel egy megalapozott korrekció olyan információkat tárhat fel, amelyeket a modell soha nem kapott meg .

110. A betegeknek és a személyzetnek lehetőséget kell biztosítani arra, hogy megkérdőjelezzék, vajon a kiválasztott kritérium szolgálja-e a program kijelentett célját .

111. Kifogásaik feltárhatnak egy hiányzó adatot, egy félrevezető célt, vagy egy olyan szabályt, amely egy hasznos becslést kizárássá alakít .

112. Ez nem jelenti azt, hogy minden nézeteltérésre könnyen megadható lenne egy számszerű válasz.

113. A költségelőrejelzések hasznosak lehetnek a költségvetés szempontjából, a betegség súlyosságának becslései pedig a kezelés szempontjából, ugyanakkor egyik sem méri automatikusan egy további ellátási hely előnyét.

114. Ezen célok közül való választáshoz elszámoltatható döntésre van szükség arról, kinek tartozik a program segítséggel, és milyen bizonyítékok igazolnák, hogy a választás bevált, majd ezt követően meg kell figyelni azokat, akik bekerültek, és azokat, akik kívül maradtak.

115. A döntést felül kell vizsgálni, ha a megfigyelt eredmények ellentmondanak neki.

116. Az eredeti ellátási programban a döntő pillanat nem csupán a kockázati pontszám kiszámítása volt.

117. Hanem az a döntés, hogy a becsült kiadások alapján állítsanak fel várólistát a további ellátáshoz .

118. A modell helyesen kiszámíthatta ezt az értéket, és mégis a súlyosabb állapotú beteget várakoztathatta .

119. Amint a kérdés a „Kinek az ellátása kerül többe?”-ről a „Kinek van szüksége erre a helyre?”-re változik, ugyanaz a pontos szám már nem ad rá választ .

120. A gondozási programban egy hely marad, de jelentése attól a szabálytól függ, amely eldönti, kinek a neve kerül az élre.

1. Stellen Sie sich zwei Patienten vor, die um einen Platz in einem Programm konkurrieren, das bei der Koordination komplexer medizinischer Versorgung hilft.

2. Ihre prognostizierten Kosten sind gleich .

3. Dennoch könnte einer von ihnen erheblich kränker sein, denn die Höhe der Ausgaben für eine Person hängt nicht nur von der Krankheit ab, sondern auch davon, ob Termine zugänglich waren, Untersuchungen angeordnet wurden und eine Behandlung erfolgte .

4. Eine Rangliste auf der Grundlage zukünftiger Rechnungen würde sie zusammenführen .

5. Eine Rangliste auf der Grundlage der Krankheit möglicherweise nicht.

6. Diese Unterscheidung ist entscheidend in dem Moment, in dem ein Versorgungsteam eine Punktzahl in einen Platz im Programm umwandelt, da ein Patient, der außen vor bleibt, möglicherweise nie die Unterstützung erhält, auf die die Zahl eigentlich hinweisen sollte.

7. In einer Studie aus dem Jahr 2019 untersuchten Ziad Obermeyer und seine Kollegen einen kommerziellen Algorithmus, der für diese Auswahl entwickelt wurde, und verfolgten nach, wie aus einer Vorhersage über Geld ein Urteil über Menschen wurde.

8. Der Algorithmus stützte sich auf Aufzeichnungen früherer Behandlungen und prognostizierte spätere Gesundheitskosten.

9. Organisationen nutzten diese Risikobewertungen, um Patienten für zusätzliche Hilfe zu identifizieren, wie beispielsweise eine intensivere Koordinierung der Behandlung – eine Maßnahme, die Personalzeit in Anspruch nimmt und nicht jedem gleichzeitig angeboten werden kann.

10. Die Maschine hat den Zweck des Programms nicht erfunden.

11. Menschen hatten entschieden, dass einige Patienten die knappe zusätzliche Aufmerksamkeit erhalten sollten, und der Algorithmus bot eine Möglichkeit, Kandidaten in einer großen Population zu reihen, ohne dass ein Kliniker jede Akte von Grund auf prüfen musste.

12. Was genau sollte diese Rangliste messen?

13. Die Antwort scheint nur so lange offensichtlich, bis man sie tatsächlich erstellen muss.

14. Ein Verwaltungsmitarbeiter möchte vielleicht vermeidbare Ausgaben reduzieren, ein Arzt möchte vielleicht die schwerstkranken Patienten finden, und ein Patient benötigt möglicherweise Hilfe bei der Orientierung im Gesundheitssystem, bevor eine Krise eintritt.

15. Diese Ziele überschneiden sich, aber sie identifizieren nicht in jedem Fall dieselben Personen.

16. Zukünftige Kosten sind attraktiv, weil Versicherungsansprüche Zahlungen in einer Form erfassen, die gezählt und prognostiziert werden kann, während die Versorgung, die eine Person benötigte, aber nicht erhielt, keine entsprechende Rechnung hinterlässt.

17. Krankheit lässt sich schwerer auf eine einzige Zahl reduzieren.

18. Sie kann sich in Diagnosen, Laborergebnissen, Symptomen, funktionellen Einschränkungen und Bedürfnissen zeigen, die nie zu einer Rechnung geführt haben.

19. Die Wahl zukünftiger Ausgaben als Ziel verwandelt eine praktische Messgröße in das Ergebnis, das ein Modell zu prognostizieren lernt – selbst wenn der Zweck des Programms die Krankheit betrifft .

20. Diese Entscheidung geht der ausgeklügelten Mathematik voraus.

21. Die Forscher stellten fest, dass schwarze Patienten in der von ihnen untersuchten Population bei gleichem algorithmischen Risikowert deutlich mehr aktive chronische Erkrankungen aufwiesen als weiße Patienten.

22. Nahe der Schwelle für die automatische Identifizierung lagen die Durchschnittswerte bei 4,8 Erkrankungen bzw. 3,8 Erkrankungen.

23. Der Vergleich bedeutet nicht, dass jeder schwarze Patient kränker war als jeder weiße Patient mit demselben Score; diese Durchschnittswerte fassen sich überschneidende Gruppen zusammen .

24. Er zeigt, dass der gemeinsame Score einen systematischen Unterschied im Krankheitsbild zwischen den Gruppen verbarg – genau dort, wo eine vermeintlich einheitliche Risikoskala das Personal dazu hätte verleiten können, gleiche Scores als gleichen Bedarf zu behandeln.

25. Bei seiner angegebenen numerischen Aufgabe schnitt der Algorithmus deutlich besser ab.

26. Bei einem bestimmten Wert verursachten schwarze und weiße Patienten im folgenden Jahr in etwa ähnliche Kosten, was genau das war, worauf ein Kostenprognostiker trainiert worden war.

27. Seine Vorhersagen konnten hinsichtlich der Ausgaben gut kalibriert sein und dennoch Menschen falsch einstufen, wenn die Krankheit der Grund für das Angebot von Hilfe war, da die Kalibrierung darauf abzielt, ob die vorhergesagten Rechnungen mit den tatsächlichen Rechnungen übereinstimmen, und nicht darauf, ob die richtigen Patienten Unterstützung erhalten.

28. Das ist die zentrale Diskrepanz.

29. Zu den Eingabedaten des Modells gehörten frühere Versicherungsansprüche, Diagnosen, Behandlungen, Medikamente und Kosten, doch sein Trainingsziel waren spätere medizinische Ausgaben – ein Unterschied, der leicht aus den Augen verloren wird, wenn sowohl Eingaben als auch Ergebnisse als Gesundheitsdaten beschrieben werden .

30. Die Aufzeichnungen waren dort detailliert, wo eine medizinische Versorgung stattgefunden hatte.

31. Sie waren zwangsläufig lückenhafter dort, wo der Bedarf nicht zu dokumentierten Leistungen geführt hatte .

32. Wenn gleich kranke Menschen unterschiedlich viel Versorgung erhalten, können ihre Rechnungen aus Gründen abweichen, die nichts mit dem medizinischen Bedarf zu tun haben – was ein Modell reproduzieren kann.

33. In der untersuchten Population verursachten schwarze Patienten geringere Kosten als weiße Patienten mit einer vergleichbaren Anzahl chronischer Erkrankungen.

34. Die Forscher schätzten eine Differenz von etwa 1.800 Dollar pro Jahr, wenn sie die Anzahl solcher Erkrankungen konstant hielten.

35. Diese Zahl beschreibt die untersuchte Studienpopulation, nicht einen universellen Preis für Ungleichheit .

36. Hindernisse bei der Terminvereinbarung, Unterschiede in der Behandlung und die Organisation des Zugangs können den medizinischen Bedarf von den medizinischen Ausgaben trennen.

37. Die Studie konnte die Ausgabenlücke identifizieren und mögliche Ursachen untersuchen, ohne jeden einzelnen Dollar einer bestimmten Ursache zuzuordnen, da Abrechnungsdaten allein nicht jedes Hindernis zwischen den Symptomen eines Patienten und einem abgeschlossenen Arztbesuch erfassen können .

38. Frühere Rechnungen dienten dennoch als Anhaltspunkt für zukünftige Rechnungen.

39. Sobald dieser Leitfaden als Ersatz für den Bedarf diente, schlug sich die ungleiche Inanspruchnahme von Gesundheitsleistungen in der Rangfolge nieder, obwohl der Algorithmus die ethnische Zugehörigkeit nicht explizit als Eingabewert verwendete.

40. Das Löschen eines Feldes für die ethnische Zugehörigkeit konnte ein Ergebnis nicht korrigieren, das bereits Unterschiede beim Zugang und bei der Behandlung von Patienten mit vergleichbaren Erkrankungen widerspiegelte.

41. Auch würde das Hinzufügen weiterer Abrechnungsdaten nicht automatisch Leistungen aufdecken, die nie erbracht wurden.

42. Der Fehler lag nicht darin, dass ein Computer bei der Arithmetik versagte.

43. Vielmehr lag er darin, dass eine für eine Frage berechnete Zahl als Antwort auf eine andere Frage behandelt wurde.

44. Die Folge zeigte sich an der Schwelle des Programms.

45. In dem von den Forschern untersuchten Gesundheitssystem wurden Patienten oberhalb des 97. Risikoperzentils automatisch für die Aufnahme identifiziert, während eine größere Gruppe zur Prüfung an Ärzte weitergeleitet wurde.

46. Eine Schwelle wandelt eine kontinuierliche Rangfolge in eine knappe Chance um.

47. Jemand, der knapp darunter liegt, kann eine größere Krankheitslast haben als jemand, der knapp darüber liegt, wenn der Rang stattdessen die erwarteten Ausgaben misst und das Überschreiten der Grenze darüber entscheidet, wer automatisch für zusätzliche Betreuung ausgewählt wird.

48. Anhand des beobachteten Krankheitsunterschieds simulierten die Forscher eine Auswahl, die die Kluft zwischen schwarzen und weißen Patienten bei gleichem Gesundheitszustand beseitigte, indem sie gesündere Menschen oberhalb des Schwellenwerts durch kränkere Menschen darunter ersetzten.

49. An der Schwelle für die automatische Identifizierung stieg der berechnete Anteil der ausgewählten schwarzen Patienten von 17,7 Prozent auf 46,5 Prozent, ohne dass zusätzliche Programmplätze geschaffen wurden .

50. Dabei handelte es sich um modellierte Zuweisungen, nicht um Patienten, bei denen anschließend beobachtet wurde, dass sie die zusätzliche Versorgung erhielten .

51. Die Simulation verdeutlicht das Ausmaß der Entscheidung, die sich hinter dem Ziel und der Schwelle verbirgt; sie kann jedoch nicht feststellen, wie es jeder neu ausgewählten Person im Programm ergehen würde.

52. Das Team probierte auch ein anderes Ziel aus, bei dem Gesundheits- und Kostenkennzahlen kombiniert wurden, während ein Großteil des Rahmens beibehalten wurde, um zu testen, was das Modell vorhersagte.

53. In ihrer Analyse reduzierte diese Änderung eine bestimmte Kennzahl für übermäßige chronische Erkrankungen bei schwarzen Patienten mit vergleichbaren Werten um 84 Prozent, obwohl das Ergebnis aus der Modellentwicklung stammte und nicht auf einer gemessenen Verbesserung der erbrachten Versorgung beruhte.

54. Es führte nicht dazu, dass alle Vorstellungen von Fairness übereinstimmten.

55. Ein Programm, das darauf abzielt, Krankheiten vorzubeugen, eines, das darauf abzielt, die Ausgaben zu senken, und eines, das darauf abzielt, denjenigen zu helfen, die derzeit die größte Belastung tragen, erfordert unterschiedliche Belege dafür, wer davon profitiert .

56. Selbst ein perfektes Maß für die aktuelle Erkrankung würde uns für sich genommen nicht sagen, welcher Patient am meisten von einer bestimmten Intervention profitiert .

57. Diese Frage betrifft die Wirkung zusätzlicher Versorgung, nicht nur den Schweregrad der Erkrankung vor deren Eintreten .

58. Die praktische Versuchung besteht darin, das leicht zugängliche Ziel so zu behandeln, als wäre es das gewählte Ziel .

59. Die Lösung beginnt damit, das Ziel in einfacher Sprache zu formulieren und dann zu fragen, was jede verfügbare Messgröße außer Acht lässt.

60. Diese Aufgabe ist sowohl politischer als auch technischer Natur, da eine begrenzte Anzahl von Plätzen dennoch vergeben werden muss.

61. Keine Formel kann diese Zuteilung regeln, ohne einen Grund dafür zu haben, einen Anspruch gegenüber einem anderen zu bevorzugen .

62. Dennoch können Gründe dargelegt und überprüft werden .

63. Wenn das Ziel darin besteht, kostspielige Notfälle zu verhindern, mögen zukünftige Kosten relevant sein, doch müssen die Verantwortlichen fragen, ob eine höhere prognostizierte Rechnung auch auf jemanden hinweist, dessen Ausgang durch zusätzliche Versorgung verändert werden kann .

64. Wenn das Ziel darin besteht, Menschen mit dem größten ungedeckten Bedarf zu erreichen, sind Ausgaben allein ein besonders unsicherer Ersatz, da gerade jene Menschen, denen Leistungen verweigert werden, in den zur Einstufung herangezogenen Unterlagen als kostengünstig erscheinen können.

65. Diese Unterscheidung lässt sich anhand von Gesundheitsindikatoren überprüfen, anstatt sie einfach außer Acht zu lassen .

66. Sie verändert auch, wie ein System nach seiner Einführung bewertet werden sollte .

67. Die Genauigkeit im Vergleich zu den Rechnungen des nächsten Jahres prüft eine Kostenprognose; sie prüft nicht, ob die übergangenen Patienten gesünder waren, ob ihre Bedürfnisse ungedeckt blieben oder ob das Programm ihnen mehr genutzt hätte .

68. Ein Dashboard kann eine hervorragende Vorhersageleistung aufweisen, während das Versorgungsprogramm genau diejenigen verfehlt, für deren Erreichung es geschaffen wurde, wenn das Dashboard Fehler anhand der Ausgaben meldet, aber niemals die Gesundheitsbedürfnisse der ausgewählten Patienten vergleicht .

69. Ein Problem betrifft das von der Einrichtung gewählte Ziel .

70. Ein weiteres betrifft die Daten, die verwendet werden, um die Personen zu repräsentieren, deren Fälle die Einrichtung beurteilen muss .

71. Fehlende Arztbesuche, unvollständige Diagnosen und uneinheitliche Untersuchungen können dazu führen, dass selbst eine medizinisch ausgerichtete Messgröße für manche Patienten weniger vollständig ist als für andere, insbesondere wenn das Fehlen einer Aufzeichnung fälschlicherweise als Fehlen einer Erkrankung interpretiert wird .

72. Ein drittes Problem liegt in der Messung selbst: Eine dokumentierte Diagnose ist ein Hinweis auf eine Erkrankung, hängt jedoch auch von der Untersuchung und Dokumentation ab, während ein nicht dokumentiertes Symptom für jedes Modell, das ausschließlich auf kodierten Abrechnungsdaten basiert, unsichtbar bleiben kann .

73. Das vierte Problem tritt auf, wenn ein Wert eine Regel für eine Maßnahme erfüllt.

74. An diesem Punkt entscheiden ein Schwellenwert, ein Überweisungsablauf und die Verfügbarkeit von Terminen darüber, ob eine Zahl tatsächlich die Versorgung verändert; daher kann eine genauere Schätzung zwar einen Bericht verbessern, ohne jedoch die Behandlung eines Patienten zu verbessern .

75. Diese Mängel können sich überschneiden, doch wenn man sie als einen einzigen vagen Fehler namens „Verzerrung“ behandelt, wird es schwieriger, jeden einzelnen zu beheben.

76. Diese Unterscheidung verhindert zudem eine bekannte falsche Lösung.

77. Mehr Daten können nur dann zur Erkennung von Krankheiten beitragen, wenn sie relevante Informationen liefern und so erhoben werden, dass sie nicht einfach Lücken im Zugang reproduzieren – eine Voraussetzung, die eine genaue Prüfung sowohl der Datenerhebung als auch der Berechnung erfordert.

78. Das Entfernen einer verdächtigen Variablen kann von Bedeutung sein, doch andere Variablen oder das Ziel selbst können weiterhin die Auswirkungen ungleicher Behandlung in sich tragen, und die Entscheidungsregel kann auch nach einer Änderung der Eingabeliste weiterhin Chancen ungleich verteilen.

79. Und eine gerechtere Schätzung kann ins Stocken geraten, bevor sie einen Patienten erreicht.

80. Eine andere klinische Berechnung verdeutlicht diesen letzten Punkt.

81. Ärzte verwenden häufig die geschätzte glomeruläre Filtrationsrate (eGFR), um zu beurteilen, wie gut die Nieren das Blut filtern, wobei sie sich auf eine Labormessung stützen, anstatt die Filtration bei jedem Patienten direkt zu messen.

82. Früher enthielten gängige Gleichungen eine Anpassung hinsichtlich der ethnischen Zugehörigkeit, sodass dasselbe Laborergebnis bei einem als „schwarz“ eingestuften Patienten zu einer anderen Schätzung führen konnte, was mögliche Konsequenzen hatte, wenn ein klinischer Schwellenwert von dem berechneten Wert abhing.

83. Im Jahr 2021 empfahl eine gemeinsame Nieren-Arbeitsgruppe eine neue Kreatinin-Gleichung ohne Variable zur ethnischen Zugehörigkeit.

84. Sie drängte zudem auf eine stärkere Nutzung von Cystatin C neben Kreatinin, wenn eine bestätigende Beurteilung hilfreich wäre.

85. Dies war eine Änderung der klinischen Schätzung, keine Neugestaltung des Algorithmus zur Kostenprognose .

86. Die Beispiele treffen sich an dem Punkt, an dem ein berechneter Wert die knappen klinischen Ressourcen lenken soll, obwohl sich die wissenschaftlichen Fragestellungen hinter einer Nierenschätzung und einer Ausgabenprognose deutlich unterscheiden.

87. Eine überarbeitete Nierenschätzungsformel kann das scheinbare Krankheitsstadium eines Patienten verschieben oder einen Überweisungsgrenzwert überschreiten .

88. Ob diese Person einen Facharzt aufsucht, hängt davon ab, wie Ärzte das Ergebnis interpretieren, wie Überweisungen gehandhabt werden und ob ein Termin verfügbar ist .

89. Der Weg von einem veränderten Wert zu einer veränderten Versorgung umfasst mehrere Schritte.

90. Forscher untersuchten später ein Gesundheitssystem, das die rassenunabhängige Formel im Dezember 2021 einführte.

91. Ihre Beobachtungsstudie verfolgte die Daten von mehr als 547.000 Erwachsenen mit einem relevanten Laborwert im Zeitraum von 2019 bis 2023, wodurch die Forscher die Überweisungs- und Besuchsraten rund um die Einführung vergleichen konnten .

92. Die Formel veränderte Schätzungen und Klassifizierungen, doch die Forscher stellten keinen messbaren Anstieg der vierteljährlichen nephrologischen Überweisungen oder Besuche bei Patienten fest, die als schwarz dokumentiert waren .

93. Dieses Ergebnis beweist nicht, dass die Überarbeitung sinnlos war.

94. Die Formel befasst sich mit einer umstrittenen Messpraxis, und eine Person kann eine andere klinische Einstufung erhalten, selbst wenn die Gesamtterminrate nicht steigt, da eine Kennzeichnung in einer Krankenakte nur ein Input für die nachfolgende Versorgung ist.

95. Auch kann die Erfahrung einer einzelnen Einrichtung nicht belegen, was in jeder Klinik geschah, oder alle nachgelagerten Auswirkungen aufzeigen .

96. Ihre Aussagekraft ist enger gefasst und nützlicher.

97. Eine Änderung der Berechnung verändert nicht automatisch die Kapazitäten oder das Verhalten der Organisation, die darauf reagiert, insbesondere wenn Ärzte nach der Umstellung der Formel durch das Labor mit demselben Terminangebot und denselben Überweisungsroutinen konfrontiert sind.

98. Für den Patienten ist der Unterschied zwischen einem neuen Eintrag in der Krankenakte und einer neuen Chance auf Versorgung erheblich.

99. Die Nierenformel unterscheidet sich zudem von einer durch maschinelles Lernen erstellten Rangliste von Patienten nach zukünftigen Kosten.

100. Das eine schätzt eine physiologische Größe anhand von Laborwerten; das andere prognostiziert ein finanzielles Ergebnis anhand einer umfassenden Vorgeschichte der Inanspruchnahme von Gesundheitsleistungen, sodass die Entfernung der ethnischen Zugehörigkeit aus einer Gleichung keine allgemeine Abhilfe für jede voreingenommene Rangfolge darstellt.

101. Ihre Fehler lassen sich nicht auf ein einziges technisches Rezept reduzieren.

102. Beide werfen jedoch an der Schnittstelle zwischen Messung und Handlung dieselbe Frage auf: Was soll die Zahl hier bewirken?

103. Ein Krankenhaus kann diese Frage ehrlicher beantworten, indem es die Entscheidung konkretisiert, bevor es ein Bewertungssystem erwirbt oder entwickelt.

104. Es kann die identifizierten Personen anhand mehrerer plausibler Zielgrößen vergleichen, prüfen, wer nahe am Schwellenwert liegt, und untersuchen, ob die gemessenen Vorteile tatsächlich mit der angebotenen Leistung einhergehen, anstatt einen Erfolg zu verkünden, sobald ein Bewertungssystem das selbst gewählte Ziel vorhersagt.

105. Solche Versuche müssen auch die Gruppen einbeziehen, deren Daten möglicherweise am unvollständigsten sind, da die durchschnittliche Leistung eine folgenschwere Diskrepanz verschleiern kann.

106. Die Untersuchung sollte auch darlegen, was nach der Identifizierung geschieht.

107. Wenn kein Versorgungsteam Platz für zusätzliche Patienten hat, kann eine genauere Rangfolge allein die fehlenden Termine nicht schaffen.

108. Die Kapazität ist ebenfalls eine Entscheidungsvariable, obwohl sie oft aus Auswertungen verschwindet, die sich auf die Vorhersagen des Modells beschränken .

109. Wenn Ärzte von der Rangliste abweichen können, lassen sich die Gründe und Auswirkungen dieser Abweichungen untersuchen, anstatt jede Abweichung als Fehler zu behandeln, da eine fundierte Korrektur Informationen offenlegen kann, die das Modell nie erhalten hat .

110. Patienten und Mitarbeiter benötigen eine Möglichkeit, zu hinterfragen, ob das gewählte Kriterium dem erklärten Zweck des Programms dient .

111. Ihre Einwände können auf eine fehlende Aufzeichnung, ein irreführendes Ziel oder eine Regel hinweisen, die eine nützliche Schätzung in einen Ausschluss verwandelt.

112. Das bedeutet nicht, dass man so tun muss, als gäbe es für jede Meinungsverschiedenheit eine einfache numerische Antwort.

113. Kostenprognosen können für die Budgetplanung nützlich sein, und Schätzungen des Schweregrads einer Erkrankung können für die Behandlung hilfreich sein, doch misst keines von beiden automatisch den Nutzen eines weiteren Versorgungsplatzes.

114. Die Wahl zwischen diesen Zielen erfordert eine verantwortungsvolle Beurteilung darüber, wem das Programm Hilfe schuldet und welche Belege zeigen würden, dass die Wahl funktioniert hat, gefolgt von der Beobachtung derjenigen, die aufgenommen wurden, und derjenigen, die außen vor blieben.

115. Die Beurteilung sollte revidierbar sein, wenn die beobachteten Ergebnisse ihr widersprechen.

116. Im ursprünglichen Versorgungsprogramm war der entscheidende Moment nicht allein die Berechnung eines Risikowerts.

117. Es war die Entscheidung, die prognostizierten Ausgaben eine Warteliste für zusätzliche Versorgung erstellen zu lassen .

118. Das Modell könnte diesen Wert korrekt berechnen und dennoch den kränkeren Patienten warten lassen.

119. Sobald sich die Frage von „Wessen Versorgung wird mehr kosten?“ zu „Wer braucht diesen Platz?“ ändert, liefert dieselbe genaue Zahl keine Antwort mehr.

120. Der freie Platz im Versorgungsprogramm bleibt ein Platz, aber seine Bedeutung hängt von der Regel ab, die entscheidet, wessen Name an die Spitze gelangt.