5.7 – A sokszínűség mint ismeretforrás – Vielfalt als Erkenntnisquelle

1. A DREAM5 kihívás során több csapat is ugyanazokat a génexpressziós adatokat kapta meg, és eltérő térképeket állítottak össze arról, hogy mely gének szabályozhatnak másokat.

2. Egyes kapcsolatok számos térképen megjelentek, míg mások csak egyen, és ezek a különbségek felvetettek egy gyakorlati kérdést: mely előrejelzések érdemelnek további vizsgálatot.

3. Minden javasolt kapcsolat egy szabályozó gént kötött össze egy lehetséges céllal, ám a mérések inkább aktivitási mintákat mutattak, mintsem magát a molekuláris szabályozási folyamatot.

4. Amikor két gén együtt emelkedik és csökken, az egyik befolyásolhatja a másikat, mindkettő reagálhat egy harmadik jelre, vagy a hasonlóság félrevezető lehet.

5. A kihívás abban állt, hogy megkülönböztessék az ígéretes kapcsolatokat a meggyőző véletlen egybeesésektől anélkül, hogy úgy tennének, mintha a génaktivitás bármilyen feltűnő mintázata önmagában eldönthetné a befolyás irányát.

6. Ez a probléma értelmet adott a módszertani sokszínűségnek: az egymással versengő megközelítések feltárhatták egymás feltételezéseinek korlátait, miközben egy mindenki számára felismerhető kérdésen dolgoztak.

7. A részt vevő csapatok 29 előrejelzést nyújtottak be, és a szervezők hat általánosan használt módszert is felvettek a közzétett összehasonlításba.

8. Megvizsgálták az Escherichia coli, a sütőélesztő, a Staphylococcus aureus és egy szimulált rendszer hálózatát.

9. Amikor Marbach és kollégái 2012-ben publikálták az elemzést, az összehasonlítás lehetővé tette a módszerek több organizmuson történő értékelését, ahelyett, hogy egyetlen adathalmaz alapján hirdették volna ki a győztest.

10. Ezek nem egy feladat négy példánya voltak, mivel a szervezetek, a rendelkezésre álló mérések és azok a bizonyítékok, amelyek alapján az előrejelzéseket ellenőrizni lehetett, mind különböztek egymástól.

11. Ennek ellenére a csapatok minden feladatnál közös adatokkal indultak.

12. Ez a közös kiindulási pont ugyanolyan fontos volt, mint az a szabadságuk, hogy eldöntsék, hogyan vonnak le következtetéseket belőle, mivel a változatosság nem sokat tanít, ha a válaszok különböző kérdésekre vonatkoznak.

13. A génexpressziós mérés azt rögzíti, hogy egy adott körülmény között mennyi termelődik egy gén termékéből, nem pedig közvetlen képet ad arról, hogy ki irányít kit.

14. Számos körülmény között a mérések nyomokat adnak a kapcsolatokról.

15. Egy következtetési módszer súlyozza ezeket a nyomokat, és rangsorolt listát állít össze a lehetséges kapcsolatokról, amelyben a legerősebb előrejelzések a lista elején szerepelnek.

16. Az egyik megközelítés hangsúlyozhatja, hogy két aktivitási minta mennyire szorosan követi egymást.

17. Egy másik egy kisebb szabályozócsoportot kereshet, amely együttesen magyarázza a célmolekula viselkedését, míg egy harmadik a szabályozó megzavarása után végzett mérésekre támaszkodik.

18. Minden választás megalapozott módszert kínál egy bonyolult probléma leegyszerűsítésére, de mindegyik az adatokat egy olyan feltételezésen keresztül szűri, amely az egyik szabályozási mintához jobban illeszkedhet, mint a másikhoz.

19. Mindegyik megközelítés bizonyos mintázatok felismerését megkönnyíti, másokét viszont elnehezíti, különösen akkor, ha az adatok nem tudják egyértelműen elkülöníteni a közvetett hatást a közvetlen szabályozástól.

20. A közzétett összehasonlítás nem talált olyan módszert, amely minden adatkészlet esetében a legjobban teljesített volna.

21. Ez az eredmény nem jelenti azt, hogy minden módszer egyformán jó lett volna.

22. Azt jelenti, hogy az egyik hálózaton elért siker nem jelenti azt, hogy az a módszer egy másik, kevésbé ismert hálózat esetében is biztosan a legjobb lenne.

23. A módszerek a szélesebb családokon belül is eltértek egymástól, így az, hogy egy megközelítést regressziónak vagy korrelációnak neveztek, nem árulta el a kutatónak, hogy az mennyire gondosan kezelte a zajos adatokat, vagy mennyire lenne alkalmazható egy új hálózaton.

24. Ez az a pont, ahol a változatosság nem csupán mennyiséget, hanem információt is teremthet.

25. Ha két módszer eltérően reagál ugyanarra a bizonyítékra, az eltérésük olyan feltételezésekre utal, amelyeket meg lehet vizsgálni, és olyan előrejelzésekre, amelyeket le lehet tesztelni.

26. Ha ugyanazt a vakfoltot ismételik meg, egy újabb pályamű ugyan új hangot ad hozzá, de alig nyújt független információt.

27. A DREAM5 láthatóvá tette ezeket a különbségeket, mivel a pályaművekre közös értékelési szabályok vonatkoztak.

28. Az E. coli és az élesztő esetében az értékelők összehasonlíthatták a jóslatokat a korábbi kísérletek által alátámasztott interakciók halmazával; a szimulált hálózat esetében pedig ismerték azokat a kapcsolatokat, amelyek az adatokat generálták.

29. A Staphylococcus aureus esetében nem állt rendelkezésre kellően kiterjedt kísérleti referencia az ilyen jellegű teljes körű összehasonlításhoz.

30. Az értékelők így három olyan hálózattal szembesültek, amelyekhez használható referenciaadatok álltak rendelkezésre ehhez az összehasonlításhoz, valamint egy negyedikkel, amelynek szűkebb biológiai adathalmaza korlátozottabb értékelést tett szükségessé.

31. Az ismert kapcsolatokhoz viszonyított rangsor azt méri, hogy egy módszer mennyire jól tükrözi vissza azt a referenciát, és a referencia csak annyira teljes és releváns, amennyire az alapul szolgáló bizonyítékok lehetővé teszik.

32. A szervezők meghatározott teljesítménymutatókat alkalmaztak annak érdekében, hogy azokat a módszereket jutalmazzák, amelyek a megerősített kapcsolatokat a listájuk élére helyezték.

33. Ez az eljárás a preferált technikákról szóló vitát ellenőrizhető versennyé alakította, mivel egy jelölt kapcsolat vagy egyezett a rendelkezésre álló referenciaadatokkal, vagy nem, bár az eljárás nem tudta teljes körűvé tenni azt a referenciát.

34. Ez megakadályozta azt is, hogy a csapatok a saját, kész válaszaik alapján újradefiniálják a sikert.

35. Közös feladat hiányában egy olyan módszer, amely csak a könnyű kapcsolatokat jósolja meg, és egy másik, amely a kevésbé nyilvánvalóakat keresi, mindkettő kényelmes szabvány kiválasztásával győzelmet hirdethetne magának.

36. Közös feladat esetén a kompromisszumaik egyértelművé válnak.

37. Az összehasonlítás többet mutatott, mint pusztán a pontszámok szórását: a különböző módszercsaládok hajlamosak voltak különböző típusú hálózati mintákat előnyben részesíteni, ami arra utal, hogy ugyanazok a mérési módszerek egy struktúrát világosan feltárhatnak, míg egy másikat elrejthetnek.

38. Egyesek könnyebben rekonstruáltak egy bizonyos szabályozó kapcsolatokból álló elrendezést, míg mások egy másik elrendezésnél teljesítettek jobban.

39. Ezek a különbségek lehetséges indokot szolgáltattak a jóslatok kombinálására.

40. Ha a hibák csak részben fedik egymást, akkor egy olyan kapcsolat, amelyet több, valóban különböző megközelítés is magasra rangsorolt, több figyelmet érdemelhet, mint egy olyan, amelyet egyetlen megközelítés részesít előnyben.

41. Ez a hibamintákra vonatkozik, nem pedig a teremben lévő emberek számára, mivel a módszerek közötti egyetértés kevésbé számít, ha a módszerek ugyanazokat a téves feltételezéseket öröklik.

42. A kutatók a benyújtott rangsorokat egy közösségi előrejelzéssé egyesítették úgy, hogy kiszámították az egyes jelölt kapcsolatok módszerek közötti átlagos helyezését.

43. Nem szavaztak arról, hogy egy kapcsolat már biológiai tény-e.

44. Az eredmény egy újabb rangsorolt lista lett, amely ugyanazon mérések többféle értelmezéséből származó információkat tartalmazott.

45. A szimulált hálózaton ez az összevont lista az első helyet szerezte meg a 35 egyedi módszerrel szemben.

46. Az E. coli esetében a harmadik, az élesztő esetében pedig a hatodik helyet szerezte meg.

47. Ezek a helyezések a három értékelhető hálózat egészén átnyúló erős teljesítményt jelentenek, nem pedig veretlen többségi véleményt mindegyik esetében.

48. A szimulált eredménynek is megvan a maga korlátja.

49. A szimulált hálózat ismert választ ad a jóslatok értékeléséhez, de az adatokat generáló szabályok soha nem helyettesíthetik az élő sejt minden bonyolultságát.

50. A biológiai hálózatokon még a legjobb összehasonlításnak is volt egy másik gyenge pontja: a kísérletileg ismert kapcsolatok nem fedték le az összes lehetséges kapcsolatot.

51. Egy referencia-adatbázisból hiányzó jelölt ezért nem volt automatikusan hamis.

52. Ez a hiányosság két szempontból is megnehezítette az értékelést, mivel a hiányzó referencia-kapcsolatok elrejthették egy valódi felfedezést, ugyanakkor indokolatlan kifogást is szolgáltathattak egy rossz előrejelzésre.

53. Ez miatt egy hasznos előrejelzés is tévesnek tűnhet, és a kutatókat arra csábíthatja, hogy egy valóban gyenge előrejelzést pusztán felfedezetlennek tekintsék.

54. A megalapozott válaszhoz másfajta bizonyítékra van szükség.

55. A kutatók új E. coli-kapcsolatokat választottak ki laboratóriumi ellenőrzésre, túllépve a korábban dokumentált kapcsolatokból számított pontszámon.

56. A tesztelt körülmények között az 53 kiválasztott új kapcsolat közül 23-at alátámasztottak.

57. A többi 30 nem kapott ilyen alátámasztást a kiválasztott tesztekben, ami szűkebb megállapítás, mint kijelenteni, hogy ezek a kapcsolatok más körülmények között soha nem fordulhatnának elő.

58. A 23 alátámasztott kapcsolat sem bizonyította, hogy minden organizmus esetében minden előrejelzés 43 százalékos sikerarányt mutatna.

59. A vizsgált halmazt a további vizsgálatokhoz választották ki, és a laboratóriumi vizsgálat arra a kérdésre ad választ, amelyet a kialakítása és a feltételei lehetővé tesznek.

60. Ugyanakkor ezek az eredmények megmutatják, miért a leghasznosabb egy közös referenciaérték a további kutatásokhoz vezető hídként, nem pedig azok helyettesítőjeként.

61. A laboratóriumi ellenőrzések megváltoztatták, mit állíthattak a kutatók a kiválasztott előrejelzésekről.

62. A kísérletek előtt a magas rangjelzés azt jelezte, hogy egy jelöltet érdemes tesztelni; utána egy másik eljárásból származó bizonyítékok megerősítették ezek közül néhányat.

63. A rangsorok és az eredeti méréseknek lehet közös gyenge pontjuk.

64. Egy független ellenőrzés megkérdőjelezheti ezt a közös gyenge pontot azzal, hogy azt vizsgálja, vajon a javasolt összefüggés kiállja-e a bizonyítékok előállításának módjában bekövetkező változást, ahelyett, hogy csupán egy újabb számítást végezne ugyanazon megfigyeléseken.

65. Még ebben az esetben is az eredmény továbbra is függ attól, hogy mit mértek, hogyan hajtották végre a tesztet, és milyen biológiai körülmények között történt ez.

66. A tudás akkor bővül, ha a kutatók megőrzik ezeket a megkülönböztetéseket, és olyan további ellenőrzést terveznek, ahol a bizonyítékok továbbra is gyengék, ahelyett, hogy egyetlen versenyeredményt végleges ítéletként kezelnének.

67. Képzeljük el, hogy minden csapat szinte ugyanazt a modellt használja.

68. A jóslatok halmaza egyre növekedne, és az azok alapján kialakult konszenzus lenyűgözőnek tűnhetne, annak ellenére, hogy szinte minden pályamű ugyanazt a hibaforrást örökölte.

69. Hibáik továbbra is együtt emelkednének és csökkennének, így a látszólagos konszenzus nem lenne hitelesebb, mint a mögötte álló közös feltételezés.

70. A DREAM5-elemzésben a különböző családokba tartozó módszerekből származó előrejelzések jobban kiegészítették egymást, mint a hasonló módszerekből származó előrejelzések.

71. Ez az eredmény egy szűkebb tanulságot támaszt alá, mint a „minél több, annál jobb”: a kiegészítő módszerek akkor a leghasznosabbak, ha valóban különböző erősségeket hoznak ugyanazon kérdéshez.

72. A hasznos változatosság megváltoztatja a bizonyítékok értelmezésének módját, így egy módszernek esélye nyílik arra, hogy felfedezzen egy olyan összefüggést, amelyet egy másik módszer szisztematikusan figyelmen kívül hagy.

73. Ezenkívül elég hosszú ideig megőrzi a nézeteltéréseket ahhoz, hogy azokat megvizsgálhassuk, mivel egy szélsőséges előrejelzés felfedhet egy hibát a saját módszerében vagy a jelenlegi összehasonlítás korlátait.

74. Ha a szervezők azonnal átlagolják az összes eredményt, és elvetik az egyéni listákat, elveszíthetik azokat a nyomokat, amelyeket egy szokatlan, de jól megalapozott előrejelzés tartalmaz.

75. Az összesített rangsor irányíthatja a figyelmet anélkül, hogy az egyetlen feljegyzéssé válna.

76. Ez a megkülönböztetés különösen értékes, ha maga a referenciaérték is hiányos, mert egy olyan módszer, amelyet az ismert összefüggésektől való eltérés miatt hátrányosan értékelnek, valójában egy valódi, eddig nem rögzített összefüggésre utalhat.

77. Természetesen az újdonság önmagában nem bizonyít semmit, és egy ismeretlen összefüggés magas rangsorolása inkább okot ad a vizsgálódásra, mintsem azt állítaná, hogy az összefüggés létezik.

78. Egy felsoroláson kívüli összefüggés lehet felfedezés vagy téves eredmény.

79. A következő döntés ezért gyakorlati jellegű: mely ellentmondások érdemlik meg a szűkös laboratóriumi időt, és milyen teszt tudná eldönteni a versengő magyarázatok közül, melyik a helyes?

80. Ezt a döntést nem lehet a beérkezett javaslatok számának alapján eldönteni, mert egy hiba több példánya nem nyújt erősebb indokot egy kísérlet elvégzésére, mint egyetlen, gondosan dokumentált eredmény.

81. Ez a bizonyítékok minőségétől, a tesztelés költségétől és attól függ, hogy milyen értéke lehet annak, ha megtudjuk, fennáll-e az összefüggés.

82. A közös szabványok ebben segítenek azáltal, hogy összehasonlíthatóvá teszik a jóslatokat, így a kutatók láthatják, mely lehetséges összefüggések maradnak fenn ismétlődően különböző feltételezések mellett, és melyek függnek egyetlen törékeny választástól.

83. Emellett határt szabnak annak is, hogy mit lehet az összehasonlítás során észlelni.

84. Egy kizárólag már dokumentált kapcsolatokból felépített szabvány jutalmazhatja az ismert térkép hű rekonstrukcióját, miközben alulértékeli azt a módszert, amely hiteles kiegészítéseket javasol.

85. Ez nem teszi a szabványokat feleslegessé, mivel a összehasonlítás deklarált alapja nélkül sem a nyereség mértéke, sem az eltérés forrása nem lenne egyértelmű.

86. Ez egyértelművé teszi a céljukat: egy adott ítélet meghozatalához szükséges eszközök, meghatározott bizonyítékalappal és meghatározott vakfolttal.

87. Ugyanez a megkülönböztetés a molekuláris biológiától távol is megjelenik, ahol az alternatív módszerek értéke hasonlóképpen attól a feladattól függ, amelyet a résztvevők közös szabályok szerint próbálhatnak meg megoldani.

88. Az M4 előrejelzési versenyen a kutatók különböző területekről származó és különböző időközönként mért 100 000 idősoron hasonlították össze a módszereket.

89. A közzétett elemzés 61 módszert ismertetett, és értékelte mind a pontelőrejelzéseket, mind az előrejelzési intervallumokat.

90. Számos pályamű technikákat kombinált, ahelyett, hogy azt állította volna, hogy egyetlen egyszerű recept minden sorozatra alkalmas lenne.

91. Ismét a közös adatok és a közzétett hibamértékek tették lehetővé a különböző megközelítések közötti összehasonlítást.

92. Egy módszer rangja azonban attól függött, hogy melyik sorozat és melyik mérőszám volt fontos, és a 61 módszert nem szabad összetéveszteni 61 független gondolkodásmóddal.

93. Az M4 nem bizonyítja, hogy a biológiai eredmény átvihető az előrejelzésre, mivel az időbeli előrejelzés és a javasolt génkapcsolat mind a bizonyítékok, mind a következmények tekintetében eltér egymástól.

94. Ez azt mutatja, hogy a szándékosan kialakított összehasonlítási szabályok hogyan tárhatják fel, hol működnek az alternatívák, miközben egyben meg is határozzák, mit nevez a verseny sikernek.

95. A versenyen kívül a mérőszám megválasztása következményekkel járhat az emberekre nézve, különösen akkor, ha a díj odaítéléséhez használt szám egy operatív döntést is irányít.

96. Az ellátmány megrendeléséhez használt előrejelzést az átlagos numerikus hiba alapján lehetne értékelni, ám a hiányok és a többletek nagyon különböző módon terhelhetik a különböző csoportokat.

97. Ez a példa egy döntési probléma, nem pedig az M4-ből származó, közzétett eredmény.

98. Egy pontszám nem döntheti el, kinek a veszteségei számítanak a leginkább.

99. Hasonlóképpen, egy génhálózati referenciaérték a jelölt kapcsolatokat biológiai bizonyítékok alapján értékeli; ez nem jogosít fel a kapott modell bármilyen felhasználására.

100. Aki a szabályt meghatározza, az befolyásolja, mely eredmények tűnnek sikeresnek.

101. Meg kell magyaráznia, hogy a szabály mely kérdésre ad választ, és nyitva kell hagynia az egyéb releváns kérdéseket.

102. Ez a felelősség növekszik, amikor egy benchmark elkezdi irányítani a finanszírozást, a publikálást vagy a bevezetést, mert ilyenkor a versenyzőknek okuk van arra, hogy optimalizálják azt, amit mérnek.

103. Egy stabil szabály védi a tisztességes összehasonlítást azáltal, hogy megakadályozza, hogy egy csalódott versenyző az eredmények megtekintése után megváltoztassa a célt, és azáltal, hogy elmagyarázza másoknak, mit jelent a közzétett pontszám.

104. Egy nem vizsgált szabály elrejtheti a ponttáblán kívüli, következményekkel járó hibákat.

105. A sokszínűség fenntartásának is vannak költségei, és ez könnyebben igazolható, ha a különböző megközelítések képesek feltárni olyan hibákat, amelyeket egy közös eljárás egyébként elrejtene.

106. A különálló csapatoknak szükségük van adathozzáférésre, időre, számítástechnikai erőforrásokra és elegendő dokumentációra ahhoz, hogy mások megértsék, mit is tettek valójában a módszereik.

107. A rosszul dokumentált alternatívákat nem lehet könnyen ellenőrizni vagy kombinálni, bármilyen különbözőnek is tűnjenek az eredményeik.

108. Az indok nélküli módszerek hozzáadása olyan erőforrásokat emészthet fel, amelyeket célszerűbb lenne a referenciaadatok javítására vagy a vitatott előrejelzések tesztelésére fordítani.

109. A helyes kérdés az, hogy egy másik megközelítés hol tárhat fel olyan hibát, amely a meglévő módszerekben is jelen van, és hogy az ebből adódó eltérés visszavezethető-e olyan feltételezésekre, amelyek ténylegesen tesztelhetők.

110. Erre a kérdésre nincs állandó, számszerű válasz.

111. Ez a rendelkezésre álló bizonyítékoktól, a téves döntés kockázatától, valamint attól függ, hogy valaki képes-e kivizsgálni azt az eltérést, amelyet a sokféleség tár fel.

112. A DREAM5-ben a közös adatok felvetettek egy kérdést a csapatok számára, a független megközelítések különböző lehetséges kapcsolatokat eredményeztek, a közös szabályok pedig érthetővé tették az eltéréseiket.

113. A későbbi laboratóriumi munka egy másfajta ellenőrzést nyújtott: azt vizsgálta, hogy a kiválasztott, javasolt kapcsolatok kísérletileg alátámaszthatók-e, ahelyett, hogy csupán azt kérdezte volna, mennyire egyeznek meg egy már létező katalógussal.

114. 23 kiválasztott kapcsolat esetében egy olyan válasz, amely korábban csupán egy rangsorolt lista pozíciójaként létezett, meghatározott feltételek mellett kísérleti alátámasztást nyert.

115. A legértékesebb térkép tehát sem az volt, amelyen a legtöbb vonal szerepelt, sem az, amelyben minden módszer már egyetértett.

116. Az a térkép volt a legértékesebb, amely egy tesztelhető útvonalat hagyott a nézeteltérés és egy olyan kapcsolat között, amelyet még senki sem erősített meg.

1. Im Rahmen der DREAM5-Challenge erhielten mehrere Teams dieselben Genexpressionsdaten und lieferten unterschiedliche Karten darüber, welche Gene möglicherweise andere regulieren.

2. Einige Verbindungen tauchten auf vielen Karten auf, während andere nur auf einer einzigen zu finden waren; diese Unterschiede warfen die praktische Frage auf, welche Vorhersagen eine weitere Untersuchung verdienten.

3. Jeder vorgeschlagene Zusammenhang verband ein regulatorisches Gen mit einem möglichen Zielgen, doch die Messungen zeigten eher Aktivitätsmuster als den molekularen Kontrollvorgang selbst.

4. Wenn zwei Gene gemeinsam ansteigen und abfallen, könnte das eine das andere beeinflussen, beide könnten auf ein drittes Signal reagieren, oder die Ähnlichkeit könnte irreführend sein.

5. Die Herausforderung bestand darin, vielversprechende Verbindungen von überzeugenden Zufällen zu unterscheiden, ohne so zu tun, als könne ein Muster in der Genaktivität – so auffällig es auch sein mag – für sich allein die Richtung des Einflusses festlegen.

6. Dieses Problem gab der methodischen Vielfalt einen Sinn: Konkurrierende Ansätze konnten die Grenzen der jeweiligen Annahmen aufdecken, während sie an einer Frage arbeiteten, die jeder nachvollziehen konnte.

7. Die teilnehmenden Teams reichten 29 Vorhersagen ein, und die Organisatoren fügten dem veröffentlichten Vergleich sechs gängige Methoden hinzu.

8. Sie untersuchten Netzwerke von Escherichia coli, Bäckerhefe, Staphylococcus aureus und einem simulierten System.

9. Als Marbach und Kollegen die Analyse 2012 veröffentlichten, ermöglichte der Vergleich eine Beurteilung der Methoden anhand von mehr als einem Organismus, anstatt einen Gewinner anhand eines einzigen Datensatzes zu küren.

10. Es handelte sich nicht um vier Kopien einer einzigen Aufgabe, da sich die Organismen, die verfügbaren Messungen und die Belege, anhand derer die Vorhersagen überprüft werden konnten, alle voneinander unterschieden.

11. Dennoch gingen die Teams bei jeder Aufgabe von gemeinsamen Daten aus.

12. Dieser gemeinsame Ausgangspunkt war ebenso wichtig wie ihre Freiheit, selbst zu entscheiden, wie sie daraus Schlussfolgerungen ziehen wollten, da Variationen wenig Aufschluss geben können, wenn die Antworten unterschiedliche Fragen betreffen.

13. Eine Genexpressionsmessung erfasst, wie viel vom Produkt eines Gens unter einer bestimmten Bedingung gebildet wird – sie ist kein direktes Abbild davon, wer wen steuert.

14. Über viele Bedingungen hinweg liefern die Messungen Hinweise auf Zusammenhänge.

15. Eine Inferenzmethode gewichtet diese Hinweise und erstellt eine Rangliste möglicher Verbindungen, wobei die stärksten Vorhersagen ganz oben stehen.

16. Ein Ansatz kann betonen, wie eng zwei Aktivitätsmuster einander folgen.

17. Ein anderer sucht möglicherweise nach einer kleineren Gruppe von Regulatoren, die gemeinsam das Verhalten eines Ziels erklären, während ein dritter auf Messungen zurückgreift, die nach der Störung eines Regulators durchgeführt wurden.

18. Jede Wahl bietet einen vertretbaren Weg, ein schwieriges Problem zu vereinfachen, aber jede filtert die Daten auch durch eine Annahme, die möglicherweise besser zu einem Regulationsmuster passt als zu einem anderen.

19. Jede Methode macht es einfacher, bestimmte Muster zu erkennen, während andere leichter übersehen werden – insbesondere wenn sich in den Daten indirekte Einflüsse nicht klar von direkter Regulierung trennen lassen.

20. Der veröffentlichte Vergleich ergab keine einzige Methode, die über alle Datensätze hinweg die beste Leistung zeigte.

21. Diese Erkenntnis bedeutet nicht, dass alle Methoden gleich gut waren.

22. Sie bedeutet vielmehr, dass der Erfolg in einem Netzwerk nicht zuverlässig als Indikator für den „Gewinner“ in einem anderen, weniger bekannten Netzwerk dienen konnte.

23. Die Methoden unterschieden sich zudem innerhalb großer Familien, sodass die Bezeichnung eines Ansatzes als Regression oder Korrelation einem Forscher keinen Aufschluss darüber gab, wie sorgfältig er mit verrauschten Daten umging oder wie gut er auf ein neues Netzwerk übertragbar war.

24. Hier kann Variation Informationen schaffen, anstatt bloßes Volumen zu erzeugen.

25. Wenn zwei Methoden unterschiedlich auf dieselben Belege reagieren, deuten ihre Meinungsverschiedenheiten auf Annahmen hin, die überprüft werden können, und auf Vorhersagen, die getestet werden können.

26. Wenn sie denselben blinden Fleck wiederholen, fügt eine weitere Einreichung zwar eine Stimme hinzu, aber nur wenig unabhängige Information.

27. DREAM5 machte diese Unterschiede sichtbar, da alle Beiträge gemeinsamen Bewertungsregeln unterlagen.

28. Bei E. coli und Hefe konnten die Bewerter die Vorhersagen mit Interaktionssätzen vergleichen, die durch frühere Experimente gestützt wurden; beim simulierten Netzwerk kannten sie die Verbindungen, aus denen die Daten stammten.

29. Für Staphylococcus aureus fehlte eine ausreichend umfangreiche experimentelle Referenz für einen solchen umfassenden Vergleich.

30. Die Bewerter sahen sich somit drei Netzwerken mit verwertbaren Referenzinformationen für diesen Vergleich gegenüber und einem vierten, dessen spärlichere biologische Datenlage eine eingeschränktere Beurteilung erforderte.

31. Eine Rangliste anhand bekannter Verbindungen misst, wie gut eine Methode diese Referenz wiedergibt, wobei die Referenz nur so vollständig und relevant ist, wie es die zugrunde liegenden Belege zulassen.

32. Die Organisatoren verwendeten festgelegte Leistungskennzahlen, um Methoden zu belohnen, die belegte Verbindungen weit oben in ihren Listen platzierten.

33. Dieses Verfahren verwandelte eine Auseinandersetzung über bevorzugte Techniken in einen überprüfbaren Wettbewerb, da eine potenzielle Verbindung entweder mit der verfügbaren Referenz übereinstimmte oder nicht – auch wenn das Verfahren diese Referenz nicht vervollständigen konnte.

34. Es hinderte die Teams zudem daran, den Erfolg anhand ihrer eigenen fertigen Antworten neu zu definieren.

35. Ohne eine gemeinsame Aufgabe könnten sowohl eine Methode, die nur einfache Verknüpfungen vorhersagt, als auch eine, die nach obskuren sucht, jeweils den Sieg für sich beanspruchen, indem sie einen für sich günstigen Maßstab wählen.

36. Mit einer gemeinsamen Aufgabe werden ihre Kompromisse erkennbar.

37. Der Vergleich zeigte mehr als nur eine Streuung der Ergebnisse: Verschiedene Methodengruppen neigten dazu, unterschiedliche Arten von Netzwerkmustern zu bevorzugen, was darauf hindeutet, dass dieselben Messungen eine Struktur deutlich hervorheben, während sie eine andere verschleiern könnten.

38. Einige ermittelten eine Anordnung regulatorischer Verbindungen leichter, während andere bei einer anderen Anordnung besser abschnitten.

39. Diese Unterschiede lieferten einen möglichen Grund für die Kombination von Vorhersagen.

40. Wenn sich die Fehler nur teilweise überschneiden, verdient eine Verbindung, die von mehreren wirklich unterschiedlichen Ansätzen hoch eingestuft wird, möglicherweise mehr Beachtung als eine, die von einem einzigen Ansatz bevorzugt wird.

41. Dies ist eine Aussage über Fehlermuster, nicht über die Anzahl der Personen in einem Raum, da die Übereinstimmung zwischen den Methoden weniger wichtig ist, wenn die Methoden dieselben falschen Annahmen zugrunde legen.

42. Die Forscher fassten die eingereichten Ranglisten zu einer gemeinschaftlichen Vorhersage zusammen, indem sie den Durchschnittswert der Platzierung jeder in Frage kommenden Verbindung über alle Methoden hinweg berechneten.

43. Sie stimmten nicht darüber ab, ob eine Verbindung bereits eine biologische Tatsache war.

44. Das Ergebnis war eine weitere Rangliste, die Informationen aus verschiedenen Interpretationsweisen derselben Messungen enthielt.

45. Im simulierten Netzwerk belegte diese kombinierte Liste im Vergleich zu den 35 einzelnen Methoden den ersten Platz.

46. Bei E. coli belegte sie den dritten Platz und bei Hefe den sechsten.

47. Diese Platzierungen zeugen von einer starken Leistung über die drei bewertbaren Netzwerke hinweg, nicht von einer unangefochtenen Mehrheitsmeinung in jedem einzelnen davon.

48. Auch das simulierte Ergebnis verdient eine eigene Einordnung.

49. Ein simuliertes Netzwerk liefert eine bekannte Antwort zur Beurteilung von Vorhersagen, doch die Regeln, die seine Daten generieren, können niemals alle Komplexitäten einer lebenden Zelle abdecken.

50. Bei den biologischen Netzwerken wies selbst der beste Vergleich eine andere Schwäche auf: Experimentell bekannte Verbindungen deckten nicht alle Beziehungen ab, die möglicherweise existieren könnten.

51. Ein Kandidat, der in einer Referenzdatenbank fehlte, war daher nicht automatisch falsch.

52. Diese Lücke erschwerte die Bewertung in zweierlei Hinsicht, da fehlende Referenzverbindungen eine echte Entdeckung verbergen und gleichzeitig eine ungerechtfertigte Entschuldigung für eine schlechte Vorhersage liefern konnten.

53. Sie kann eine nützliche Vorhersage falsch erscheinen lassen und Forscher dazu verleiten, eine tatsächlich schlechte Vorhersage als lediglich unentdeckt abzutun.

54. Eine fundierte Antwort erfordert eine andere Art von Belegen.

55. Die Forscher wählten neue E.-coli-Verbindungen für Laboruntersuchungen aus und gingen damit über eine Bewertung hinaus, die auf zuvor dokumentierten Beziehungen basierte.

56. Unter den getesteten Bedingungen fanden sie Belege für 23 der 53 ausgewählten neuen Verbindungen.

57. Die übrigen 30 erhielten in den ausgewählten Tests keine solche Bestätigung, was eine engere Aussage ist als die Behauptung, dass diese Beziehungen unter anderen Bedingungen niemals auftreten könnten.

58. Auch belegten die 23 bestätigten Verbindungen keine Erfolgsquote von 43 Prozent für jede Vorhersage bei jedem Organismus.

59. Die getestete Gruppe wurde für weitere Untersuchungen ausgewählt, und ein Labortest beantwortet die Frage, die sein Design und seine Bedingungen zulassen.

60. Dennoch zeigen diese Ergebnisse, warum ein gemeinsamer Maßstab am nützlichsten als Brücke zu weiteren Untersuchungen ist und nicht als Ersatz dafür.

61. Die Laborüberprüfungen veränderten, was Forscher über ausgewählte Vorhersagen behaupten konnten.

62. Vor den Experimenten kennzeichnete ein hoher Rang einen Kandidaten, der es wert war, getestet zu werden; danach stärkten Erkenntnisse aus einem anderen Verfahren einige dieser Kandidaten.

63. Die Ranglisten und die ursprünglichen Messungen könnten eine gemeinsame Schwäche aufweisen.

64. Eine unabhängige Überprüfung kann diese gemeinsame Schwäche hinterfragen, indem sie untersucht, ob der vorgeschlagene Zusammenhang eine Änderung in der Art und Weise, wie Beweise gewonnen werden, übersteht, anstatt lediglich eine weitere Berechnung auf der Grundlage derselben Beobachtungen zu sein.

65. Selbst dann bleibt das Ergebnis an das Gemessene, die Art und Weise der Durchführung des Tests und die biologischen Bedingungen, unter denen er durchgeführt wurde, gebunden.

66. Wissen wächst, wenn Forscher diese Unterscheidungen beibehalten und eine weitere Überprüfung entwerfen, wo die Belege noch dünn sind, anstatt eine einzelne Wettbewerbsbewertung als endgültiges Urteil zu betrachten.

67. Stellen Sie sich vor, jedes Team würde fast dasselbe Modell verwenden.

68. Der Berg an Vorhersagen würde wachsen, und ein darauf basierender Konsens könnte beeindruckend wirken, obwohl fast jeder Beitrag denselben Fehlerpunkt geerbt hätte.

69. Ihre Fehler könnten dennoch gemeinsam steigen und fallen, wodurch ein scheinbarer Konsens nicht mehr Autorität hätte als die ihm zugrunde liegende allgemeine Annahme.

70. In der DREAM5-Analyse ergänzten sich Vorhersagen aus Methoden verschiedener Familien besser als Vorhersagen, die auf ähnlichen Methoden beruhten.

71. Diese Erkenntnis stützt eine engere Schlussfolgerung als „mehr ist besser“: Zusätzliche Methoden sind am nützlichsten, wenn sie wirklich unterschiedliche Stärken in dieselbe Fragestellung einbringen.

72. Nützliche Vielfalt verändert die Art und Weise, wie Beweise interpretiert werden, sodass eine Methode die Chance hat, einen Zusammenhang zu erkennen, den eine andere systematisch übersieht.

73. Sie bewahrt zudem Meinungsverschiedenheiten lange genug, um sie zu untersuchen, da eine abweichende Vorhersage einen Fehler in der eigenen Methode oder eine Einschränkung des vorherrschenden Vergleichs aufdecken kann.

74. Wenn Organisatoren sofort den Durchschnitt aller Ergebnisse bilden und die einzelnen Listen verwerfen, können ihnen die Hinweise entgehen, die in einer ungewöhnlichen, aber fundierten Vorhersage enthalten sind.

75. Die kombinierte Rangliste kann die Aufmerksamkeit lenken, ohne zur einzigen Aufzeichnung zu werden.

76. Diese Unterscheidung ist besonders wertvoll, wenn der Maßstab selbst unvollständig ist, denn eine Methode, die dafür bestraft wird, dass sie von bekannten Zusammenhängen abweicht, könnte auf einen echten, noch nicht erfassten Zusammenhang hinweisen.

77. Natürlich beweist Neuartigkeit allein noch nichts, und eine hohe Platzierung für einen unbekannten Zusammenhang sollte eher einen Anlass zur Untersuchung geben als eine Behauptung, dass dieser Zusammenhang existiert.

78. Ein nicht aufgeführter Zusammenhang könnte eine Entdeckung oder ein Artefakt sein.

79. Die nächste Entscheidung ist daher praktischer Natur: Welche Meinungsverschiedenheiten verdienen die knappe Laborzeit, und welcher Test könnte die konkurrierenden Erklärungen voneinander trennen?

80. Diese Entscheidung lässt sich nicht durch das Zählen von Einreichungen treffen, denn mehrere Kopien eines Fehlers liefern kein stärkeres Argument für ein Experiment als ein einziges sorgfältig dokumentiertes Ergebnis.

81. Es hängt von der Qualität der Beweise, den Kosten der Überprüfung und dem wahrscheinlichen Nutzen ab, zu erfahren, ob ein Zusammenhang besteht.

82. Gemeinsame Standards helfen hier, indem sie die Vorhersagen vergleichbar machen, sodass Forscher erkennen können, welche möglichen Zusammenhänge wiederholt unterschiedliche Annahmen überstehen und welche von einer einzigen fragilen Wahl abhängen.

83. Sie setzen dem Vergleich zudem Grenzen.

84. Ein Standard, der ausschließlich auf bereits dokumentierten Beziehungen basiert, kann die getreue Rekonstruktion der bekannten Karte belohnen, während er eine Methode unterbewertet, die glaubwürdige Ergänzungen vorschlägt.

85. Das macht Standards jedoch nicht überflüssig, da ohne eine festgelegte Vergleichsgrundlage weder das Ausmaß eines Gewinns noch die Ursache einer Uneinigkeit klar wäre.

86. Es macht ihren Zweck deutlich: Sie sind Werkzeuge für eine bestimmte Beurteilung, mit einer definierten Evidenzbasis und einem definierten blinden Fleck.

87. Die gleiche Unterscheidung zeigt sich auch fernab der Molekularbiologie, wo der Wert alternativer Methoden ebenfalls von einer Aufgabe abhängt, die die Teilnehmer nach gemeinsamen Regeln angehen können.

88. Im M4-Prognosewettbewerb verglichen Forscher Methoden anhand von 100.000 Zeitreihen aus verschiedenen Bereichen, die in unterschiedlichen Intervallen gemessen wurden.

89. Die veröffentlichte Analyse beschrieb 61 Methoden und bewertete sowohl Punktprognosen als auch Vorhersageintervalle.

90. Viele Beiträge kombinierten verschiedene Techniken, anstatt zu behaupten, dass ein einziges einfaches Rezept für jede Zeitreihe geeignet wäre.

91. Auch hier ermöglichten die gemeinsamen Daten und die angekündigten Fehlermaße Vergleiche zwischen unterschiedlichen Ansätzen.

92. Der Rang einer Methode hing jedoch davon ab, welche Zeitreihe und welches Maß von Bedeutung waren, und die 61 Methoden sollten nicht mit 61 unabhängigen Denkansätzen verwechselt werden.

93. M4 belegt nicht, dass sich das biologische Ergebnis auf die Prognose übertragen lässt, da sich eine zeitliche Vorhersage und eine vorgeschlagene Genbeziehung sowohl hinsichtlich ihrer Belege als auch ihrer Konsequenzen unterscheiden.

94. Es zeigt, wie bewusst konstruierte Vergleichsregeln aufzeigen können, wo Alternativen funktionieren, und gleichzeitig prägen, was in einem Wettbewerb als Erfolg gilt.

95. Außerhalb eines Wettbewerbs kann die Wahl einer Kennzahl Konsequenzen für Menschen haben, insbesondere wenn die zur Vergabe eines Preises herangezogene Zahl auch eine operative Entscheidung leitet.

96. Eine Prognose, die zur Bestellung von Vorräten verwendet wird, könnte anhand des durchschnittlichen numerischen Fehlers beurteilt werden, doch Engpässe und Überschüsse könnten verschiedene Gruppen auf sehr unterschiedliche Weise belasten.

97. Dieses Beispiel ist ein Entscheidungsproblem, kein berichtetes Ergebnis aus M4.

98. Eine Punktzahl kann nicht entscheiden, wessen Verluste am meisten zählen.

99. Ebenso bewertet ein Benchmark für Gen-Netzwerke mögliche Verbindungen anhand biologischer Belege; er legitimiert nicht jede Verwendung eines daraus resultierenden Modells.

100. Wer auch immer die Regel festlegt, beeinflusst, welche Ergebnisse als erfolgreich erscheinen.

101. Er muss die Frage erläutern, die die Regel beantwortet, und andere relevante Fragen offen lassen.

102. Diese Verantwortung wächst, wenn ein Benchmark beginnt, die Vergabe von Fördermitteln, Veröffentlichungen oder den Einsatz zu steuern, da Wettbewerber dann einen Anreiz haben, das zu optimieren, was gemessen wird.

103. Eine stabile Regel schützt einen fairen Vergleich, indem sie verhindert, dass ein enttäuschter Wettbewerber das Ziel nach Sichtung der Ergebnisse ändert, und indem sie anderen mitteilt, was die gemeldete Punktzahl bedeutet.

104. Eine ungeprüfte Regel kann schwerwiegende Fehler außerhalb der Rangliste verbergen.

105. Die Aufrechterhaltung von Vielfalt ist zudem mit Kosten verbunden, die sich leichter rechtfertigen lassen, wenn unterschiedliche Ansätze in der Lage sind, Fehler aufzudecken, die ein einheitliches Verfahren andernfalls verbergen würde.

106. Separate Teams benötigen Datenzugriff, Zeit, Rechenressourcen und ausreichende Dokumentation, damit andere nachvollziehen können, was ihre Methoden tatsächlich bewirkt haben.

107. Schlecht dokumentierte Alternativen lassen sich nicht ohne Weiteres überprüfen oder kombinieren, wie unterschiedlich ihre Ergebnisse auch erscheinen mögen.

108. Das Hinzufügen von Methoden ohne triftigen Grund kann Ressourcen beanspruchen, die besser für die Verbesserung der Referenzdaten oder das Überprüfen umstrittener Vorhersagen genutzt würden.

109. Die richtige Frage lautet, wo ein anderer Ansatz einen Fehler aufdecken könnte, den die bestehenden Ansätze gemeinsam haben, und ob die daraus resultierende Diskrepanz auf Annahmen zurückgeführt werden kann, die tatsächlich überprüft werden können.

110. Auf diese Frage gibt es keine allgemeingültige numerische Antwort.

111. Sie hängt von den verfügbaren Belegen, den Folgen einer falschen Entscheidung und davon ab, ob jemand die durch diese Vielfalt offenbarte Uneinigkeit untersuchen kann.

112. Bei DREAM5 lieferten gemeinsame Daten den Teams eine Fragestellung, unabhängige Ansätze erbrachten unterschiedliche Kandidaten für Zusammenhänge, und gemeinsame Regeln machten ihre Meinungsverschiedenheiten nachvollziehbar.

113. Die anschließende Laborarbeit lieferte eine andere Art der Überprüfung, indem sie untersuchte, ob ausgewählte vorgeschlagene Beziehungen experimentell gestützt werden konnten, anstatt lediglich zu fragen, wie gut sie mit einem bereits bestehenden Katalog übereinstimmten.

114. Für 23 ausgewählte Verbindungen erhielt eine Antwort, die zuvor nur als Position in einer Rangliste existiert hatte, unter festgelegten Bedingungen experimentelle Bestätigung.

115. Die wertvollste Karte war daher weder die mit den meisten Linien noch die, bei der sich alle Methoden bereits einig waren.

116. Es war eine Karte, die einen überprüfbaren Weg von der Uneinigkeit zu einer Beziehung aufzeigte, die noch niemand bestätigt hatte.