4.6 – Indítás előtti leállási szabályok – Stop-Regeln vor dem Start

1. 2009-ben két, brit miniszterek számára készített értékelés azt javasolta, hogy a FiReControl programot tartsák fenn .

2. A projekt már akkor is nehézségekkel küzdött .

3. A költségek és az ütemterv eltértek a tervezettől, az ígért szoftver késett, és számos helyi tűzoltóság továbbra sem volt meggyőződve arról, hogy a javasolt rendszer vészhívás esetén megfelelően fog működni .

4. Minden folytatásra vonatkozó ajánlás újabb időtartamot biztosított a tisztviselőknek ezeknek a problémáknak a megoldására a következő döntés meghozatala előtt .

5. Egyik ajánlás sem biztosított működőképes irányítótermet .

6. E két tény közötti távolság az, ahol a leállítási szabály a gyakorlatban is jelentőséget nyer.

7. A FiReControl 2004-ben indult egy ambiciózus országos tervvel .

8. A terv szerint Anglia 46 helyi tűzoltó- és mentőszolgálatának irányítótermeit kilenc, közös számítógépes rendszerrel összekapcsolt regionális központ váltotta volna fel .

9. A központok feladata az lett volna, hogy kezeljék a segélyhívásokat, irányítsák a felszerelések kiküldését, és erősítsék a szolgálat reagálási képességét nagy léptékű események esetén .

10. Ezek a célok lényegesek voltak.

11. A helyi szolgálatok profitálhattak volna az információk megosztásából és a saját határaikon túli koordinációból, különösen akkor, amikor egy katasztrófa túlterhelte egy adott terület kapacitását, és a segélyhívások gyorsabban érkeztek, mint ahogyan azokra reagálni tudtak .

12. A nehézség abban állt, hogy ezt az ígért kapacitást olyan rendszerré alakítsák, amelyet a diszpécserek ténylegesen használni tudtak.

13. Egy korai kormányzati felülvizsgálat már évekkel a minisztériumi értékelések előtt jelentős kudarcveszélynek minősítette a projektet .

14. A minisztérium jóváhagyta azt, mielőtt a teljes projektterv vagy az üzleti terv véglegesítve lett volna, és korlátozott hatáskörrel rendelkezett ahhoz, hogy a helyi szinten elszámoltatható szolgálatokat az új rendszer bevezetésére kényszerítse .

15. A leendő felhasználók ezért elengedhetetlenek voltak a sikerhez, mégis nem vonták be őket megfelelően a központokkal és a jövőbeli munkájukat meghatározó technológiával kapcsolatos döntéshozatalba.

16. Az épületek építése gyorsabban haladt, mint a szoftverfejlesztés .

17. Az első regionális központok röviddel az informatikai szerződés odaítélése után elkészültek, miközben a helyi munkamódszerek szükséges átalakítása alig kezdődött el, és a nemzeti rendszer még nem állt készen .

18. A fizikai befejezés láthatóvá tette az előrehaladást a miniszterek és a nyilvánosság számára, de nem mutatta meg, hogy egy segélyhívás a tervezett rendszeren keresztül időben eljut-e a diszpécserhez .

19. Később a parlamenti vizsgálók megállapították, hogy az informatikai szerződésből hiányoztak a megfelelő korai mérföldkövek, amelyek alapján a szállítót felelősségre lehetett volna vonni.

20. Voltak felülvizsgálatok, figyelmeztetések és vezetők.

21. Ami hiányzott, az a látható teljesítési kudarc és a projekt jövőjéről szóló, a változtatásra jogosult személy által meghozandó döntés közötti szoros kapcsolat volt.

22. A leállítási szabály egy olyan megállapodás, amelyet még a következő kiábrándító eredmény beérkezése előtt kötnek meg, és amely megkönnyíti a kifogások kitalálását.

23. Meghatározza, hogy mit kell mérni, mikor kell a bizonyítékokat vizsgálni, ki fogja azokat vizsgálni, és milyen lehetőségeket kell akkor fontolóra venni, ha az eredmények elmaradnak a várakozásoktól.

24. Elsődleges feladata, hogy egy állítást ellenőrizhetővé tegyen.

25. A FiReControl esetében a releváns állítás nem az volt, hogy megnyitható egy regionális épület, hanem hogy egy közös rendszer biztonságosan és időben tud szolgálni a tűzoltóságokat.

26. Egy végpontok közötti teszt nyomon követhette volna a hívást a beérkezéstől kezdve a helyszínmeghatározáson és a diszpécseri továbbításon át egészen a bevetési csapatok számára szükséges információkig.

27. Ezzel a program egyik központi ígéretét tesztelték volna.

28. Egy ilyen bemutatóra vonatkozó határidő miatt a jövőbeli teljesítésre vonatkozó ismételt biztosítékok kevésbé tudták volna helyettesíteni a bemutatott működést, különösen miután a további kiadások attól a bemutatótól függtek .

29. Ugyanakkor egyetlen határidő önmagában elég kevés lett volna.

30. A felülvizsgálathoz hiteles becslésekre volt szükség a fennmaradó költségekről, egy megvalósítható tervre a hibák kijavítására, valamint bizonyítékra arra, hogy a rendszert használni kívánó tűzoltóságok elfogadják annak követelményeit .

31. Ha nincs helyi megállapodás a hívások és az erőforrások kezeléséről, a tesztteremben működő szoftver országos szintű üzemeltetési rendszerként még mindig kudarcot vallhat .

32. Ezek különböző mérőszámok, és mindegyik másfajta hibát tárhat fel, mielőtt a szolgáltatás a rendszertől függne.

33. A funkció azt kérdezi, hogy működik-e a rendszer; az ütemterv azt, hogy mikor fog működni; a költségvetés azt, hogy mennyi maradt még kiadni; a hozzájárulás pedig azt, hogy ki fogja ténylegesen használni .

34. Egy felülvizsgálati pont ezeket a kérdéseket egy dátumhoz köti .

35. Ezen a ponton a döntéshozók folytathatják a projektet a meghatározott feltételek mellett, áttervezhetik azt, vagy lezárhatják, mielőtt további kötelezettségvállalások elkerülhetetlenné válnának, és a rendelkezésre álló választási lehetőségek tovább szűkülnének.

36. A szabálynak nem kell megjósolnia, melyik válasz lesz a helyes.

37. Meghatározza, kinek kell magyarázatot adnia a következő kötelezettségvállalásra, és milyen bizonyítékokat kell előterjesztenie annak igazolására .

38. Ez a megkülönböztetés 2010 áprilisában volt fontos, amikor egy parlamenti bizottság értékelte azt a projektet, amelyet bizonytalannak minősített .

39. A bizottság nem követelte a projekt azonnali leállítását.

40. Azt javasolta, hogy csak akkor folytassák a munkát, ha a minisztérium életképes tervet dolgoz ki, nyomon követi az időközi mérföldköveket, mérlegeli az alternatívákat a határidő-csúszás esetén, és szorosabban bevonja a tűzoltóságot.

41. Ez egy bizonytalanság közepette meghozott, feltételes ítélet volt.

42. Felismerte, hogy a projekt feladása a megígért előnyök elvesztését jelentheti, míg a folytatás még mindig eredményre vezethet, feltéve, hogy az akadályokat ténylegesen megoldják, mielőtt a javasolt rendszert üzembe kellene helyezni.

43. A minisztérium később közölte, hogy 2010 júniusában szigorúbb szerződéses mérföldköveket léptetett életbe .

44. Ezek a mérföldkövek ütemtervet határoztak meg a három irányítóközpontban működő rendszerre irányuló munkákra a következő évre vonatkozóan, de a beszállító teljesítése nem javult elegendő mértékben.

45. 2010. december 20-án a kormány bejelentette a projekt lezárását.

46. A megadott indok az volt, hogy az informatikai vállalkozó nem tudta elfogadható időn belül teljesíteni a követelményeket .

47. A lezárás mindig is lehetséges volt .

48. A kérdés az, hogy a korábbi bizonyítékok kényszeríthették-e volna egy fegyelmezett döntés meghozatalát, mielőtt az épületek, a szerződések és az elvárások ilyen mértékben felhalmozódtak volna, ami minden további késedelmet egyre súlyosabbá tett.

49. A Közpénzügyi Bizottság később a közkiadásokból legalább 469 millió fontnyi pazarlást becsült .

50. Ez az összeg a bizottság 2011-es értékelését tükrözi, nem pedig azt az összeget, amelyet bármely konkrét korábbi szabály bizonyítottan megtakarított volna egy olyan világban, ahol a döntések másképp alakultak volna .

51. Senki sem tudja ugyanazt a projektet más döntési időponttal újra lejátszani, és megfigyelni a hiányzó összehasonlítást.

52. A korábbi leállítás elkerülhette volna bizonyos kiadásokat, de egyúttal más beruházásokat is szükségessé tehetett volna, vagy olyan előnyöket áldozott volna fel, amelyeket a tisztviselők még mindig reméltek a regionális hálózaton keresztül elérni .

53. A megalapozott állítás szűkebb és erőteljesebb .

54. A működő szoftverhez és a helyi bevezetéshez kötött korai felülvizsgálat feltárta volna a kiadások és a használható szolgáltatás közötti szakadékot, miközben a választási lehetőségek még viszonylag nyitottak voltak, és mielőtt a további szerződések szűkítették volna azokat .

55. Maga a szerződés is meghatározza a leállítási szabály hatályát .

56. Ha nincsenek benne korai teljesítési határidők, a kormány tudhatja, hogy a projekt elcsúszik, anélkül, hogy egyértelmű szerződéses alapja lenne bizonyítékot követelni, a következő kötelezettségvállalást visszatartani vagy irányt váltani.

57. Ha a szerződés felbontása jelentős költségekkel jár, a leállítási döntés nehezebb, még akkor is, ha a bizonyítékok már a teljesítés ellen szólnak .

58. Mindez nem teszi a szabályt a kompetens tárgyalás helyettesítőjévé.

59. Ezáltal a felülvizsgálati pont a megállapodás kialakításának részévé válik, ahol a bizonyítékokat és a felhatalmazást előre meghatározzák, ahelyett, hogy a csalódások már felhalmozódtak volna, amikor összehívják az értekezletet .

60. A mélyebb probléma az, hogy az idő különböző típusú bizonyítékokat hozhat .

61. Egyes kudarcok egyre világosabbá válnak a várakozás során, míg más, látszólagos kudarcok eltűnnek, ha a megfigyelési időszak elég hosszú ahhoz, hogy feltárja azt, amit egy korai intézkedés még nem tudott megmutatni.

62. A klinikai kutatás szigorú tesztet nyújt erre a különbségre .

63. Egy randomizált rákos betegekre vonatkozó klinikai vizsgálatban a betegeket kezelésekhez rendelik, így a kutatók összehasonlíthatják az eredményeket anélkül, hogy teljes mértékben az egyes kezeléseket választó emberek jellemzőire támaszkodnának .

64. A vizsgálat nem várhat a végtelenségig, ha egy kísérleti kezelés károsnak vagy reménytelennek tűnik .

65. Ugyanakkor nem szabad elvetnie egy hasznos kezelést csak azért, mert egy korai, zavaros összehasonlítás csalódást keltőnek tűnik .

66. Mindkét hiba emberi áldozatokkal jár.

67. Egy 2012-ben publikált tanulmányban Jitlal és munkatársai újra elemezték tíz, már befejezett rákos betegekre vonatkozó vizsgálat adatait, hogy összehasonlíthassák a korai jeleket a végső eredményekkel .

68. Azt vizsgálták, mi történt volna több hipotetikus szabály alkalmazása esetén, amelyek szerint a vizsgálatot le kellett volna állítani, amikor a haszon valószínűtlennek tűnt.

69. Ezek befejezett vizsgálatok alapján készült rekonstrukciók voltak, nem pedig olyan valós bizottságok jelentései, amelyek idő előtt lezárták a vizsgálatokat.

70. Öt vizsgálat nem mutatott ki általános kezelési hasznot a tervezett befejezéskor .

71. Ezek közül néhány – a kutatók által javasolt számítások szerint – korábban leállítható lett volna, így elkerülhető lett volna a további betegfelvétel és a költségek.

72. Ez a hiábavalósági szabály vonzó oldala.

73. Négy vizsgálat azonban végül mérsékelt kezelési hatást mutatott, és egy korai szabály valamelyik ponton azt javasolta volna, hogy kettőt közülük állítsanak le, még mielőtt a későbbi előny nyilvánvalóvá vált volna.

74. Ugyanaz a mechanizmus, amely az egyik esetben erőforrásokat takarított meg, egy másikban azzal fenyegetett, hogy egy értékes eredményt semmissé tesz.

75. A felülvizsgálat időzítése meghatározta, hogy a kutatók mit láthattak.

76. A korai becslések ingadoztak, és a toborzott betegek meghatározott aránya nem mindig jelentette azt, hogy elegendő releváns kimenetel történt volna a kezelés megbízható értékeléséhez.

77. Előfordulhat, hogy egy beteg hónapokkal azelőtt csatlakozik a vizsgálathoz, hogy a kutatók tudomást szereznének a mért kimenetelről.

78. A bevonott betegek számának figyelembevétele ezért azzal a kockázattal jár, hogy a várakozási időszakot úgy kezeljük, mintha az már befejezett megfigyelés lenne.

79. Amikor a kutatók a vizsgálatba való felvétel helyett a megfigyelt események alapján határozták meg az értékelések időzítését, szabályaik hosszabb követési időszakot eredményeztek, és általában kevesebb lehetőséget nyújtottak a költségmegtakarításra, mivel a vizsgálat nagyobb része már lezajlott .

80. Ezenkívül a mérsékelt haszonnal járó vizsgálatok esetében kevesebb téves jelzést eredményeztek .

81. Az időzítési pont megválasztása megváltoztatta a bizonyítékok jelentését.

82. A rákos megbetegedésekkel kapcsolatos tanulmányok nem adnak képleteket egy állami informatikai projekt értékeléséhez, de rávilágítanak arra, miért kell az ellenőrzőpontnak illeszkednie a vizsgált folyamathoz és ahhoz a sebességhez, amellyel a megbízható bizonyítékok beérkeznek .

83. Egy teljes körű szoftverteszt már a központ megnyitása előtt feltárhatja a hiányzó funkciókat; egy túlélési összehasonlításhoz viszont időre lehet szükség, miután a betegek beléptek a vizsgálatba .

84. Mindkét esetben a korai adat csak akkor hasznos, ha azt méri, amitől a döntés ténylegesen függ.

85. Még egy jól megválasztott szám sem jelent végleges ítéletet .

86. A figyelmeztető jel azt jelzi, hogy a terv kudarcot vallhat; az értékelési pont megköveteli, hogy az érintettek a jelzést a megállapodott szabványok alapján vizsgálják meg; az automatikus lezárás pedig megfosztja őket a jelzés értelmezésének mérlegelési jogkörétől.

87. E három funkció összekeverése a szabályt hatástalanná vagy meggondolatlanná teheti.

88. Ha minden figyelmeztetés csupán újabb optimista jelentést eredményez, a küszöbértéknek nincs gyakorlati hatása.

89. Ha minden küszöbérték azonnali lemondást vált ki, a szervezet elvethet egy olyan projektet, amelyet új bizonyítékok, egy kivitelezhető javítás vagy egy hosszabb megfigyelési időszak indokolhatna egy későbbi, jobb tájékozottságon alapuló felülvizsgálat során .

90. Egy hatékony szabály a késedelmet és a kivételeket a bizonyítékokhoz köti .

91. A felülvizsgálóknak elég függetlennek kell lenniük ahhoz, hogy szembeszálljanak azokkal, akik sikert ígértek, ugyanakkor elég közel kell állniuk a munkához ahhoz, hogy megértsék, mit jelent egy eredmény, és mely bizonytalanságokat hagy megoldatlanul a mérés.

92. Hozzáférésüknek kell lennie az alapul szolgáló tesztekhez, költségekhez és kifogásokhoz, nem pedig egyetlen kedvező előrehaladási értékeléshez.

93. Felhatalmazásuknak ki kell terjednie a terv felülvizsgálatának kéréseire is .

94. Ez magában foglalhatja a következő kötelezettségvállalás felfüggesztését is egy hiba kivizsgálása idején, ahelyett, hogy kizárólag a teljes sebességű folytatás és a teljes feladás között kellene választani, amikor egyik válasz sem illeszkedik a bizonyítékokhoz .

95. Ennek a szünetnek értéke van, mert megakadályozza, hogy egy befejezetlen szakasz észrevétlenül a következő előfeltételévé váljon.

96. A FiReControl esetében egy további kötelezettségvállalások előtti szünet arra irányíthatta volna a figyelmet, hogy egy használható rendszer és az elfogadott működési gyakorlatok ugyanazon a dátumra konvergálnak-e, ahelyett, hogy külön ütemtervek szerint haladnának előre.

97. Egy klinikai vizsgálat esetében egy felülvizsgálat megvizsgálhatja egy kialakuló hatás mértékét és megbízhatóságát, miközben a toborzás és a nyomon követés még folyamatban van .

98. A lehetséges válaszok eltérőek, mert a kötelezettségek is eltérőek.

99. A klinikai vizsgálat független felügyelőinek kiemelt figyelmet kell fordítaniuk a betegbiztonságra, és egy káros hatásra utaló jel indokolhatja a gyors intézkedést akkor is, ha a haszonra vonatkozó bizonyítékok továbbra is bizonytalanok.

100. A késői haszon elmulasztásától való félelem nem jogosíthatja a súlyos veszélynek való folyamatos kitettséget pusztán azért, hogy egy rendezett adatsort állítsanak össze.

101. Hasonlóképpen, a segélyhívás-kezelők és a lakosság védelme nem redukálható pusztán egy kiadási cél elérésére.

102. A küszöbérték célja határozza meg, hogy mit írhat felül.

103. A határidők és a költségvetések azért fontosak, mert korlátozzák a jövőbeli kötelezettségvállalásokat, de egy olyan szolgáltatás, amely papíron olcsónak tűnik, de vészhelyzetben kudarcot vall, nem felelt meg a lényeges próbának .

104. A hozzájárulás más szempontból fontos: a helyi tűzoltóságoknak módosítaniuk kellett a munkájukat, amelyet részletesen ismertek, és amelynek következményeit az új terv is magával vonná, annak ellenére, hogy az alapvető kereteket a központi hatóság javasolta.

105. Kifogásaik ezért a megvalósításra vonatkozó információk voltak, nem csupán a központi tervvel szembeni ellenállás.

106. Egy megegyezés szerinti felülvizsgálat megkövetelhette volna a minisztériumtól, hogy bemutassa, hogyan oldották meg ezeket a kifogásokat, mielőtt a bővítés folytatódott volna .

107. Egy ilyen követelmény nem garantálta volna a megállapodást.

108. Megakadályozta volna, hogy a miniszteri jóváhagyást tévesen operatív készenlétnek tekintsék azok körében, akiknek használniuk kellett a rendszert, amikor egy hívó azonnali segítségre szorult.

109. A korábbi kiadások bonyolítják ezt a döntést, de nem pótolhatják a hiányzó bizonyítékokat .

110. A már elkötelezett pénz megmagyarázza, miért érdemel egy projekt alapos felülvizsgálatot; nem bizonyítja azonban, hogy a következő kifizetés eredményeként megvalósul az ígért szolgáltatás, vagy hogy a késleltetett rendszer használata biztonságossá válik .

111. Az egyes ellenőrzési pontokon a releváns kérdés a még rendelkezésre álló választási lehetőségek várható eredményeire vonatkozik.

112. Ez a kérdés a folytatás mellett szólhat, ha a javítások megvalósíthatónak tűnnek, az áttervezés mellett, ha a cél túlélte a módszert, vagy a lezárás mellett, ha egyik út sem felel meg a szükséges szabványnak .

113. Egy szabály láthatóvá teszi ezeket az alternatívákat, mielőtt a legkönnyebb lépés újabb halasztássá válna .

114. Emellett kötelezettséget is teremt arra, hogy rögzítsék, miért adtak kivételt, milyen új információk támasztják alá azt, és mikor fogják a döntést újra ellenőrizni ugyanazon alapvető cél fényében.

115. A kivételek így továbbra is lehetségesek maradnak anélkül, hogy minden elmulasztott cél egy új ígéretbe oldódna fel.

116. A FiReControl program végére kilenc regionális épület sem vált azzá a működő országos diszpécserrendszerré, amely igazolta volna létjogosultságukat.

117. Egy hasznos közbeavatkozás megkövetelte volna a rendszer működőképességének igazolását, amíg még volt idő eldönteni, hogy mire szolgálnak az épületek, és hogy az országos terv képes-e teljesíteni saját feltételeit.

1. Im Jahr 2009 empfahlen zwei für britische Minister erstellte Gutachten, das Projekt „FiReControl“ fortzuführen.

2. Das Projekt befand sich bereits in Schwierigkeiten .

3. Die Kosten und der Zeitplan hatten sich verschoben, die versprochene Software war verspätet, und viele lokale Feuerwehren waren nach wie vor nicht davon überzeugt, dass das vorgeschlagene System ihnen im Falle eines Notrufs von Nutzen sein würde .

4. Jede Empfehlung zur Fortführung verschaffte den Verantwortlichen eine weitere Frist, um diese Probleme vor der nächsten Entscheidung zu lösen.

5. Keine der beiden Empfehlungen sah eine funktionsfähige Leitstelle vor .

6. In der Kluft zwischen diesen beiden Tatsachen kommt einer Stoppregel in der Praxis Bedeutung zu.

7. FiReControl war 2004 mit einem ehrgeizigen nationalen Konzept gestartet.

8. Der Plan sah vor, die Leitstellen von 46 lokalen Feuerwehr- und Rettungsdiensten in England durch neun regionale Zentren zu ersetzen, die über ein gemeinsames Computersystem miteinander verbunden waren .

9. Die Zentren sollten Notrufe entgegennehmen, Einsatzkräfte entsenden und die Reaktionsfähigkeit der Dienste bei Großereignissen stärken.

10. Diese Ziele waren von großer Bedeutung.

11. Lokale Dienste könnten vom Informationsaustausch und der über ihre eigenen Grenzen hinausgehenden Koordination profitieren, insbesondere wenn eine Katastrophe die Kapazitäten eines einzelnen Gebiets überlastete und Notrufe schneller eingingen, als reagiert werden konnte .

12. Die Schwierigkeit bestand darin, diese versprochene Kapazität in ein System umzusetzen, das die Einsatzleiter tatsächlich nutzen konnten.

13. Eine frühe Überprüfung durch die Regierung hatte das Projekt bereits Jahre vor diesen ministeriellen Bewertungen als mit einem erheblichen Risiko des Scheiterns behaftet beschrieben.

14. Das Ministerium genehmigte es, bevor ein vollständiger Projektplan oder Business Case feststand, und es verfügte nur über begrenzte Befugnisse, um die lokal rechenschaftspflichtigen Dienste zur Übernahme der neuen Regelung zu zwingen .

15. Die potenziellen Nutzer waren daher für den Erfolg unerlässlich, wurden jedoch nicht ausreichend in Entscheidungen über die Zentren und die Technologie einbezogen, von der ihre zukünftige Arbeit abhängen würde.

16. Der Bau schritt schneller voran als die Softwareentwicklung .

17. Die ersten regionalen Zentren wurden kurz nach der Vergabe des IT-Auftrags fertiggestellt, während die notwendigen Änderungen an den lokalen Arbeitsabläufen kaum begonnen hatten und das nationale System noch nicht bereitgestellt war .

18. Die bauliche Fertigstellung machte die Fortschritte für Minister und Öffentlichkeit sichtbar, konnte jedoch nicht zeigen, ob ein Notruf über das geplante System rechtzeitig an die Einsatzzentrale weitergeleitet würde .

19. Spätere parlamentarische Ermittler stellten fest, dass es dem IT-Vertrag an geeigneten frühen Meilensteinen fehlte, um den Anbieter zur Rechenschaft zu ziehen.

20. Es gab Überprüfungen, Warnungen und Führungskräfte.

21. Was fehlte, war eine starke Verbindung zwischen einem sichtbaren Lieferversagen und einer erforderlichen Entscheidung über die Zukunft des Projekts, getroffen von jemandem mit der Befugnis, es zu ändern.

22. Eine Stoppregel ist eine Vereinbarung, die getroffen wird, bevor das nächste enttäuschende Ergebnis eintrifft und das Erfinden von Ausreden erleichtert.

23. Sie legt fest, was gemessen wird, wann die Nachweise geprüft werden, wer sie prüft und welche Optionen dann in Betracht gezogen werden müssen, falls die Ergebnisse hinter den Erwartungen zurückbleiben.

24. Ihre erste Aufgabe besteht darin, eine Behauptung überprüfbar zu machen.

25. Bei FiReControl lautete die relevante Behauptung nicht, dass ein regionales Gebäude eröffnet werden könne, sondern dass ein gemeinsames System die Feuerwehrbehörden sicher und pünktlich versorgen könne.

26. Ein End-to-End-Test hätte einen Notruf von der Entgegennahme über die Standortbestimmung und die Einsatzleitung bis hin zu den von den Einsatzkräften benötigten Informationen verfolgen können.

27. Damit wäre ein zentrales Versprechen des Programms auf die Probe gestellt worden.

28. Eine Frist für eine solche Demonstration hätte dafür gesorgt, dass wiederholte Zusicherungen über eine zukünftige Bereitstellung weniger leicht an die Stelle einer nachgewiesenen Funktion treten könnten, insbesondere wenn weitere Ausgaben von dieser Demonstration abhingen .

29. Doch eine Frist allein wäre zu grob gewesen.

30. Die Überprüfung erforderte zudem glaubwürdige Schätzungen der verbleibenden Kosten, einen umsetzbaren Plan zur Behebung von Mängeln und den Nachweis, dass die Feuerwehren, die das System nutzen sollten, dessen Anforderungen akzeptierten.

31. Ohne lokale Einigung darüber, wie Notrufe und Ressourcen gehandhabt werden sollten, könnte eine Software, die in einem Testraum lief, als landesweite Betriebslösung dennoch versagen .

32. Dies sind unterschiedliche Maßstäbe, und jeder kann eine andere Art von Versagen aufdecken, bevor der Dienst vom System abhängig wird.

33. Die Funktionsprüfung fragt, ob das System funktioniert; der Zeitplan fragt, wann es funktionieren wird; das Budget fragt, was noch ausgegeben werden muss; die Zustimmung fragt, wer es tatsächlich nutzen wird .

34. Ein Überprüfungszeitpunkt bindet diese Fragen an ein Datum .

35. Zu diesem Zeitpunkt können Entscheidungsträger unter den festgelegten Bedingungen fortfahren, das Projekt neu konzipieren oder es beenden, bevor weitere Verpflichtungen unvermeidbar werden und sich die verfügbaren Optionen weiter verengen.

36. Die Regel muss nicht vorhersagen, welche Antwort richtig sein wird.

37. Sie legt fest, wer die nächste Verpflichtung begründen muss und welche Belege er vorlegen muss, um sie zu rechtfertigen .

38. Diese Unterscheidung war im April 2010 von Bedeutung, als ein parlamentarischer Ausschuss ein Projekt bewertete, das er als prekär bezeichnete .

39. Der Ausschuss forderte keine sofortige Einstellung.

40. Er empfahl, das Projekt nur fortzusetzen, wenn die Behörde einen tragfähigen Plan vorlegen, Zwischenmeilensteine überwachen, Alternativen für den Fall von Verzögerungen prüfen und die Feuerwehren stärker einbeziehen würde.

41. Dies war eine unter Unsicherheit getroffene, an Bedingungen geknüpfte Beurteilung.

42. Dabei wurde anerkannt, dass eine Aufgabe des Projekts versprochene Vorteile zunichte machen könnte und dass eine Fortsetzung diese dennoch bringen könnte, vorausgesetzt, die Hindernisse würden tatsächlich beseitigt, bevor das vorgeschlagene System in Betrieb gehen müsste.

43. Die Behörde teilte später mit, dass sie im Juni 2010 strengere vertragliche Meilensteine festgelegt habe .

44. Diese Meilensteine legten einen Zeitplan für die Arbeiten an einem System in drei Leitstellen bis zum folgenden Jahr fest, doch die Lieferleistung des Anbieters verbesserte sich nicht ausreichend .

45. Am 20. Dezember 2010 gab die Regierung die Einstellung des Projekts bekannt.

46. Als Grund wurde angegeben, dass der IT-Auftragnehmer die Anforderungen nicht innerhalb einer akzeptablen Frist erfüllen konnte .

47. Ein Ende war schon immer möglich gewesen .

48. Die Frage ist, ob frühere Erkenntnisse eine konsequente Entscheidung hätten erzwingen können, bevor sich Gebäude, Verträge und Erwartungen in dem Maße anhäuften, wie es geschah, wodurch jede weitere Verzögerung schwerwiegendere Folgen hatte.

49. Der Rechnungsprüfungsausschuss schätzte später die verschwendeten öffentlichen Ausgaben auf mindestens 469 Millionen Pfund .

50. Diese Zahl beschreibt die Einschätzung des Ausschusses im Jahr 2011, nicht eine Summe, die durch eine bestimmte frühere Entscheidung in einer Welt, in der sich die Entscheidungen anders entwickelt hätten, nachweislich eingespart worden wäre .

51. Niemand kann dasselbe Projekt mit einem anderen Entscheidungszeitpunkt noch einmal durchspielen und den fehlenden Vergleich beobachten.

52. Ein früherer Abbruch hätte möglicherweise einige Ausgaben vermieden, hätte aber auch andere Investitionen erfordern oder Vorteile opfern können, die die Verantwortlichen noch durch das regionale Netzwerk zu erzielen hofften.

53. Die vertretbare Behauptung ist enger gefasst und stichhaltiger.

54. Eine frühzeitige Überprüfung, gekoppelt an funktionsfähige Software und lokale Akzeptanz, hätte die Lücke zwischen Ausgaben und nutzbarem Dienst aufgezeigt, solange die Wahlmöglichkeiten noch vergleichsweise offen waren und bevor weitere Verträge diese einschränkten .

55. Auch der Vertrag selbst prägt die Durchsetzungskraft einer Abbruchregel.

56. Fehlen darin frühzeitige Meilensteine, weiß die Regierung zwar möglicherweise, dass ein Projekt in Verzug gerät, verfügt jedoch über keine klare vertragliche Grundlage, um Nachweise zu verlangen, die nächste Zahlung zurückzuhalten oder den Kurs zu ändern .

57. Wenn die Beendigung des Vertrags mit hohen Kosten verbunden ist, fällt die Entscheidung zum Abbruch schwerer, selbst wenn die Anzeichen gegen die Erbringung sprechen .

58. Nichts davon macht eine Regel zu einem Ersatz für kompetente Verhandlungen.

59. Sie macht den Überprüfungspunkt zu einem Bestandteil der Vertragsgestaltung, wobei Nachweise und Befugnisse im Voraus festgelegt werden, anstatt eine Besprechung einzuberufen, nachdem sich bereits Enttäuschungen angehäuft haben .

60. Das tiefer liegende Problem besteht darin, dass die Zeit unterschiedliche Arten von Nachweisen hervorbringen kann.

61. Manche Misserfolge werden mit der Zeit deutlicher, während andere scheinbare Misserfolge verschwinden, wenn der Beobachtungszeitraum lang genug ist, um aufzudecken, was eine frühzeitige Maßnahme noch nicht zeigen konnte.

62. Die klinische Forschung liefert einen strengen Test für diesen Unterschied.

63. In einer randomisierten Krebsstudie werden Patienten bestimmten Behandlungen zugewiesen, damit Forscher die Ergebnisse vergleichen können, ohne sich ausschließlich auf die Merkmale der Personen zu verlassen, die sich für die jeweilige Behandlung entschieden haben.

64. Die Studie kann nicht unbegrenzt warten, wenn eine experimentelle Behandlung schädlich oder aussichtslos erscheint .

65. Genauso wenig sollte sie eine nützliche Behandlung verwerfen, nur weil ein früher, verzerrter Vergleich enttäuschend aussieht .

66. Beide Fehler haben menschliche Kosten zur Folge.

67. In einer 2012 veröffentlichten Studie untersuchten Jitlal und Kollegen erneut Daten aus zehn bereits abgeschlossenen Krebsstudien, um frühe Signale mit den endgültigen Ergebnissen vergleichen zu können .

68. Sie gingen der Frage nach, was unter verschiedenen hypothetischen Regeln für einen Abbruch geschehen wäre, wenn ein Nutzen unwahrscheinlich erschien .

69. Dabei handelte es sich um Rekonstruktionen auf der Grundlage abgeschlossener Studien, nicht um Berichte über reale Ausschüsse, die diese vorzeitig beendet hatten.

70. Fünf Studien zeigten zum geplanten Abschluss keinen Gesamtnutzen der Behandlung .

71. Einige davon hätten nach den von den Forschern vorgeschlagenen Berechnungen früher abgebrochen werden können, wodurch weitere Patientenrekrutierungen oder Kosten hätten vermieden werden können.

72. Das ist der attraktive Aspekt einer Futilitätsregel.

73. Vier Studien zeigten jedoch letztendlich moderate Behandlungseffekte, und eine Regel zum vorzeitigen Abbruch hätte irgendwann dazu geführt, dass zwei davon abgebrochen worden wären, bevor dieser spätere Nutzen offensichtlich wurde .

74. Dasselbe Instrument, das in einem Fall Ressourcen sparte, drohte in einem anderen Fall ein lohnendes Ergebnis zunichte zu machen.

75. Der Zeitpunkt der Überprüfung prägte, was die Forscher erkennen konnten.

76. Frühe Schätzungen schwankten, und ein fester Anteil an rekrutierten Patienten bedeutete nicht immer, dass genügend relevante Ergebnisse vorlagen, um die Behandlung mit Sicherheit beurteilen zu können.

77. Ein Patient kann Monate vor dem Zeitpunkt, zu dem das gemessene Ergebnis den Forschern bekannt wird, in eine Studie aufgenommen werden.

78. Die Zählung der rekrutierten Patienten als Informationsgrundlage birgt daher das Risiko, eine Wartezeit so zu behandeln, als handele es sich um eine abgeschlossene Beobachtung.

79. Als die Forscher die Überprüfungen anhand der beobachteten Ereignisse statt allein anhand der Rekrutierung zeitlich abstimmten, ergaben ihre Regeln eine längere Nachbeobachtungszeit und im Allgemeinen weniger Möglichkeiten zur Kosteneinsparung, da ein größerer Teil der Studie bereits abgelaufen war .

80. Außerdem erzeugten sie bei Studien mit mäßigem Nutzen weniger Fehlsignale.

81. Die Wahl des Zeitrahmens veränderte die Aussagekraft der Evidenz.

82. Krebsstudien liefern zwar keine Formel zur Beurteilung eines öffentlichen IT-Projekts, zeigen aber, warum ein Kontrollpunkt auf den untersuchten Prozess und die Geschwindigkeit, mit der verlässliche Erkenntnisse vorliegen, abgestimmt sein muss .

83. Ein End-to-End-Softwaretest kann fehlende Funktionen aufdecken, bevor ein Zentrum eröffnet wird; ein Überlebensvergleich erfordert möglicherweise Zeit, nachdem Patienten in eine Studie aufgenommen wurden .

84. In beiden Fällen ist ein früher Wert nur dann nützlich, wenn er das misst, wovon die Entscheidung tatsächlich abhängt.

85. Selbst eine gut gewählte Zahl ist kein Urteil.

86. Ein Warnsignal deutet darauf hin, dass der Plan möglicherweise scheitert; ein Überprüfungszeitpunkt erfordert, dass die Verantwortlichen dieses Signal anhand vereinbarter Standards prüfen; eine automatische Beendigung entzieht ihnen den Ermessensspielraum bei der Interpretation.

87. Eine Verwechslung dieser drei Funktionen kann eine Regel entweder wirkungslos oder leichtsinnig machen.

88. Wenn jede Warnung lediglich einen weiteren optimistischen Bericht hervorruft, hat der Schwellenwert keine praktische Wirkung.

89. Wenn jeder Schwellenwert eine sofortige Einstellung auslöst, könnte die Organisation ein Projekt verwerfen, das durch neue Erkenntnisse, eine machbare Korrektur oder einen längeren Beobachtungszeitraum bei einer späteren, fundierteren Überprüfung gerechtfertigt sein könnte .

90. Eine wirksame Regel macht Verzögerungen und Ausnahmen von den vorliegenden Erkenntnissen abhängig.

91. Prüfer sollten unabhängig genug sein, um diejenigen zu hinterfragen, die Erfolg versprochen haben, und gleichzeitig nah genug am Geschehen sein, um zu verstehen, was ein Ergebnis bedeutet und welche Unsicherheiten die Messungen offen lassen.

92. Sie benötigen Zugang zu den zugrunde liegenden Tests, Kosten und Einwänden, nicht nur zu einer einzigen positiven Fortschrittsbewertung .

93. Zu ihren Befugnissen muss es gehören, einen überarbeiteten Plan zu verlangen.

94. Dazu kann auch gehören, die nächste Verpflichtung auszusetzen, während ein Mangel untersucht wird, anstatt nur zwischen vollem Tempo und vollständiger Aufgabe zu wählen, wenn keine der beiden Reaktionen den Beweisen entspricht .

95. Diese Pause ist wertvoll, weil sie verhindert, dass eine unvollendete Phase stillschweigend zur Grundlage für die nächste wird.

96. Bei FiReControl hätte eine Pause vor weiteren Verpflichtungen die Aufmerksamkeit darauf lenken können, ob ein einsatzfähiges System und akzeptierte Betriebsabläufe auf denselben Termin zusteuerten, anstatt nach getrennten Zeitplänen voranzuschreiten.

97. Bei einer klinischen Studie kann im Rahmen einer Überprüfung der Umfang und die Zuverlässigkeit eines sich abzeichnenden Effekts untersucht werden, während die Rekrutierung und Nachbeobachtung noch im Gange sind .

98. Die möglichen Reaktionen unterscheiden sich, da sich die Verpflichtungen unterscheiden.

99. Die unabhängigen Beobachter einer Studie müssen der Patientensicherheit besonderes Gewicht beimessen, und ein Hinweis auf einen Schaden kann rasches Handeln rechtfertigen, selbst wenn der Nachweis eines Nutzens noch ungewiss ist.

100. Die Angst, einen späten Nutzen zu verpassen, darf nicht dazu führen, dass man weiterhin einer ernsthaften Gefahr aussetzt, nur um einen ordentlichen Datensatz zu vervollständigen.

101. Ebenso darf der Schutz von Notrufdisponenten und der Öffentlichkeit nicht darauf reduziert werden, ein Ausgabenziel zu erreichen.

102. Der Zweck einer Schwelle bestimmt, was sie außer Kraft setzen darf.

103. Fristen und Budgets sind wichtig, weil sie zukünftige Verpflichtungen begrenzen, aber ein Dienst, der auf dem Papier günstig erscheint und im Notfall versagt, hat die entscheidende Prüfung nicht bestanden.

104. Zustimmung hat eine andere Bedeutung: Lokale Feuerwehrbehörden mussten Arbeitsabläufe ändern, die sie im Detail kannten und deren neue Gestaltung für sie gewisse Konsequenzen mit sich bringen würde, obwohl die zentrale Behörde deren Grundstruktur vorgeschlagen hatte.

105. Ihre Einwände betrafen daher die Umsetzung und waren nicht nur Widerstand gegen einen zentralen Plan.

106. Eine vereinbarte Überprüfung hätte die Behörde dazu verpflichten können, darzulegen, wie diese Einwände ausgeräumt wurden, bevor die Erweiterung fortgesetzt wurde.

107. Eine solche Anforderung hätte keine Einigung garantiert.

108. Sie hätte verhindert, dass eine ministerielle Genehmigung bei den Menschen, die das System nutzen mussten, wenn ein Anrufer sofort Hilfe benötigte, mit Einsatzbereitschaft verwechselt wurde.

109. Bisherige Ausgaben erschweren diese Entscheidung, können aber die fehlenden Beweise nicht liefern .

110. Bereits gebundene Mittel erklären, warum ein Projekt eine sorgfältige Überprüfung verdient; sie beweisen jedoch nicht, dass die nächste Zahlung die versprochene Leistung erbringen oder ein verzögertes System sicher nutzbar machen wird .

111. Die relevante Frage an jedem Kontrollpunkt betrifft die wahrscheinlichen Ergebnisse der noch verfügbaren Optionen.

112. Diese Frage kann für eine Fortsetzung sprechen, wenn Reparaturen glaubwürdig sind, für eine Neugestaltung, wenn das Ziel die Methode überdauert, oder für eine Beendigung, wenn keiner der Wege den geforderten Standard erfüllen kann .

113. Eine Regel macht diese Alternativen sichtbar, bevor die einfachste Maßnahme zu einer weiteren Verlängerung wird.

114. Sie schafft zudem die Verpflichtung, festzuhalten, warum eine Ausnahme gewährt wurde, welche neuen Informationen diese stützen und wann die Entscheidung erneut anhand desselben zugrunde liegenden Zwecks überprüft wird.

115. Ausnahmen bleiben dann möglich, ohne dass jedes verfehlte Ziel in einem neuen Versprechen aufgeht .

116. Am Ende von FiReControl waren neun regionale Gebäude nicht zu dem funktionierenden nationalen Leitstellensystem geworden, das ihre Errichtung gerechtfertigt hätte.

117. Eine sinnvolle Unterbrechung hätte den Nachweis dieses Systems gefordert, solange noch Zeit war, zu entscheiden, wozu die Gebäude dienen sollten und ob der nationale Plan seine eigenen Bedingungen erfüllen konnte.