4.1 – Az építészet, amely mindent meghatározott – Die Architektur, die alles bestimmte

1. Van egy ábra, amellyel a modern gépi tanulásba belépő sokan már korán találkoznak.

2. Nem túl látványos.

3. Két oszlopnyi téglalap áll egymás tetején, nyilak futnak felfelé, hurkok térnek vissza oldalra, és egy maroknyi felirat apró betűkkel szerepel.

4. 2017 óta e diagram különböző változatai átkerültek egy gépi fordításról szóló cikkből az előadótermekbe, a szoftverdokumentációkba, a konferencia-előadásokba és a technikai magyarázatokba.

5. A diagram a szekvenciák feldolgozására szolgáló matematikai műveletek elrendezését ábrázolja, és ezt az elrendezést transzformátornak nevezik.

6. Ritkán fordul elő egy technikai területen, hogy egyetlen kép ilyen gyorsan felismerhetővé váljon.

7. A transzformátor hatóköre messze túlmutat azon mondatokon, amelyekre eredetileg bemutatták.

8. A változatok ma már képfoltokat, beszédet, zenét, videót és biológiai szekvenciákat is feldolgoznak.

9. A fehérje-szerkezet-előrejelzésre specializálódott rendszerek a molekuláris geometriára tervezett műveletek mellett figyelmet (attention) is alkalmaznak, míg sok más sikeres rendszer a transzformátor-blokkokat konvolúciókkal, gráfokkal vagy rekurzióval kombinálja.

10. Egy mondat, egy kép és egy fehérje nem titokban ugyanolyan típusú objektumok.

11. A kutatók úgy teszik őket kezelhetővé a kapcsolódó mechanizmusok számára, hogy mindegyiket elemek rendezett gyűjteményeként ábrázolják, majd a mechanizmust a területhez igazítják.

12. Ez a pontosítás azért fontos, mert egy eszköz elterjedése miatt hatókörének univerzálisabbnak tűnhet, mint amilyen valójában.

13. A diagram mára a terület nagy részének építési tudását bemutató térképpé vált.

14. Csábító ezt a térképet az egyetlen ígéretes terület térképeként értelmezni.

15. Ezek nem ugyanazok a dolgok.

16. Ez a fejezet címe ezért szándékos túlzás.

17. Az architektúra nem határozott meg mindent, és nem egyetlen okból terjedt el.

18. Kiváló eredményeket hozott, jól kihasználta a rendelkezésre álló hardvert, számos feladatra skálázható volt, és akkor jelent meg, amikor a környező terület felerősíthette előnyeit.

19. A kérdés nem az, hogy a technikai érdemei vagy a történelmi megerősítés magyarázza-e a sikerét.

20. A kérdés az, hogy az érdem, az időzítés, az infrastruktúra és a beruházás hogyan fonódtak össze egymással, amíg mindegyik a többit még jelentősebbé nem tette.

21. 2017 előtt a nyelv és más szekvenciák feldolgozására szolgáló számos vezető rendszer rekurens neurális hálózatokra támaszkodott.

22. Egy rekurens rendszer feldolgozott egy pozíciót, frissítette a belső állapotot, majd átvitte azt a következő pozícióra.

23. Ez az elrendezés intuitív módon kielégítően illeszkedett a nyelv sorrendjéhez.

24. Ugyanakkor számítási függőséget is létrehozott, mivel az egyik pozíció állapota a közvetlenül előtte létrehozott állapottól függött.

25. A hosszú távú rövid távú memória hálózatok, amelyeket Sepp Hochreiter és Jürgen Schmidhuber vezetett be 1997-ben, segítették a rekurens rendszereket abban, hogy hasznos jeleket őrizzenek meg hosszabb szakaszokon át.

26. A későbbi rekurens tervezések javították a fordítást, a beszédfelismerést és a nyelvi modellezést.

27. A figyelem (attention) még a transzformátor előtt jelent meg ebben a világban.

28. Egy 2014-es gépi fordításról szóló cikkben Dzmitry Bahdanau, Kyunghyun Cho és Yoshua Bengio lehetővé tették, hogy egy rekurens dekóder különböző súlyokat rendeljen a kódolt forrásmondat különböző részeihez.

29. Ez a mechanizmus enyhítette azt a nyomást, hogy egy teljes mondatot egy fix hosszúságú ábrázolásba kelljen sűríteni.

30. Ez azonban még nem szüntette meg a rekurziót.

31. A modell továbbra is lépésről lépésre haladt előre a kimenetén, miközben az „attention” segített neki kiválasztani, mely forrásinformációkat használja fel.

32. A szekvenciális függőség nem volt végzetes hiba, és a rekurens modellek ki tudták aknázni a példák közötti, valamint számos alapul szolgáló műveleten belüli párhuzamosságot.

33. Ugyanakkor ez a függőség korlátozta, hogy egy adott szekvencia mekkora részét lehetett egyszerre feldolgozni a képzés során.

34. További processzorok felgyorsíthatták a rekurzióhoz kapcsolódó aritmetikai műveleteket, de nem tudták elérhetővé tenni egy későbbi állapotot azelőtt, hogy az attól függő korábbi állapot rendelkezésre állt volna.

35. Ugyanakkor a legkönnyebben hozzáférhető nagy teljesítményű hardverek egészen másfajta erősségre tettek szert.

36. A grafikus processzorokat arra fejlesztették ki, hogy sok hasonló számítást párhuzamosan végezzenek el, kezdetben képek feldolgozására, majd egyre inkább általános tudományos számításokra és neurális hálózatokra.

37. A neurális hálózatok edzése nagy mennyiségű mátrixszorzást igényel, amit az ilyen processzorok hatékonyan kezelnek.

38. A hardver nem igényelte kifejezetten a transzformátorokat, mivel a konvolúciós és a rekurens hálózatok is profitáltak belőle.

39. Ugyanakkor előnyben részesítette azokat a modelleket, amelyek munkájuk nagyobb részét nagy adagokban végzett párhuzamos mátrixműveletek formájában tudták bemutatni.

40. A 2017-es „Attention Is All You Need” című cikk nyolc szerzője ezt a lehetőséget kihasználva átszervezte a szekvenciafeldolgozást.

41. Transzformátoruk fő szekvenciafeldolgozó blokkjaiban mind a rekurziót, mind a konvolúciót elhagyta.

42. Ehelyett az önfigyelem (self-attention) lehetővé tette, hogy minden ábrázolt elem információt merítsen a szekvencia többi eleméből.

43. Minden elemhez a modell matematikai ábrázolásokat hozott létre, amelyeket általában lekérdezéseknek, kulcsoknak és értékeknek neveznek.

44. A lekérdezések és a kulcsok közötti összehasonlítások határozták meg, hogy a megfelelő értékek milyen mértékben járultak hozzá a frissített ábrázoláshoz.

45. Több figyelemfej egyszerre tudott különböző kapcsolati mintákat megtanulni.

46. Ez nem volt szó szerint egy szavakat vizsgáló gép, és a figyelem vizuális nyelvezete nem szabad, hogy elterelje a figyelmet a súlyozott numerikus műveletekről.

47. Egy kódolóban az összes pozícióra vonatkozó összehasonlítások párhuzamosan kiszámíthatók voltak a képzés során.

48. Az ismert célszekvenciákra betanított dekódoló hasonlóképpen párhuzamosan tudott feldolgozni számos pozíciót, miközben elrejtette a jövőbeli pozíciókból származó információkat.

49. Az új szöveg generálása a legkülső szinten továbbra is szekvenciális maradt, mivel a következő token továbbra is a már generált tokenektől függött.

50. A transzformátor így eltávolította a képzés egyik fő szűk keresztmetszetét anélkül, hogy minden szekvenciafüggőséget megszüntetett volna.

51. A rekurzió az állapotok egymást követése révén automatikusan biztosította a sorrendet.

52. A transzformátornak explicit módon kellett információt kapnia a pozícióról, pozíciós kódolásokon vagy későbbi, ugyanazt a célt szolgáló alternatívákon keresztül.

53. A standard önfigyelem is költségekkel járt.

54. Minden pozíció összehasonlítása minden más pozícióval azt eredményezi, hogy az alapvető idő- és memóriaigény a szekvencia hosszával négyzetesen növekszik.

55. A hossz megduplázása ezért nagyjából négyszeresére növelheti az adott figyelem-művelet munkaterhelését, bár a teljes modell költsége más komponenseket is magában foglal.

56. Ez komoly gyengeség a hosszú szekvenciák esetében, de nem bizonyíték arra, hogy az alapgondolat elméletileg alacsonyabb rendű lenne.

57. Az architektúrát soha nem lehet egyetlen komplexitási mutató alapján megítélni.

58. A tényleges hasznosság a pontosságtól, az adathatékonyságtól, az optimalizálás egyszerűségétől, a memóriaforgalomtól, a rendelkezésre álló kerneltől, a hardverkihasználtságtól és az adott feladattól függ.

59. Az eredeti Transformer-cikk konkrét és viszonylag szerény érvelést fogalmazott meg.

60. A szerzők által használt összehasonlító rendszereknél jobb fordítási minőségről számolt be, jóval jobban párhuzamosítható edzéssel és lényegesen rövidebb edzési idővel.

61. Az architektúrát az angol nyelvi szerkezeti elemzésre is alkalmazták, de nem állították, hogy felfedezték volna a mesterséges intelligencia végleges formáját.

62. A szélesebb körű következmények az azt követő munkákból származtak.

63. A kutatók az architektúrát felügyelet nélküli előképzéshez igazították, nagy nyelvi modelleket építettek köré, és a kapcsolódó terveket más területeken is alkalmazták.

64. A számítógépes látás területén például egy képrészleteken működő transzformátor – elegendő adatra történő betanítás esetén – erőteljesen versenyezhetett a már bevált konvolúciós hálózatokkal.

65. Ez az eredmény bizonyította a területek közötti átvihetőséget, de a méretre és a reprezentációra való függése azt is megmutatta, hogy ugyanaz a terv nem törölte ki a probléma sajátosságait.

66. Az architektúra részben azért volt sikeres, mert elég általános volt ahhoz, hogy módosítható legyen, részben pedig azért, mert a környező rendszer hatékonyan tudta végrehajtani ezeket a módosításokat.

67. Ez a két előny egymást erősítette.

68. További megerősítésre került sor, amikor a kutatók megmérték, hogyan változik a nyelvi modellek teljesítménye a méret függvényében.

69. A kísérletek a vizsgált tartományokban viszonylag sima hatványtörvény-szerű összefüggéseket mutattak ki a képzési veszteség és a modellméret, az adatmennyiség, valamint a számítási teljesítmény növekedése között.

70. Ezek empirikus szabályszerűségek voltak, nem pedig olyan elmélet, amely garantálná, hogy minden képesség zökkenőmentesen javulna, vagy hogy ezek az összefüggések korlátlanul folytatódnának.

71. Későbbi munkák azt is felülvizsgálták, hogy egy adott számítási költségkeretet hogyan kell felosztani a modell mérete és a képzési adatok között.

72. A módosítások nem tették tönkre a befektetési logikát; pontosabbá tették a számítási erőforrások felhasználásának receptjét.

73. Amint a további erőforrások mérhető javulást eredményeztek bizonyos mértékű előrejelzhetőséggel, a laboratóriumok és a vállalatok nagyobb képzési futtatásokat tervezhettek kevesebb bizonytalansággal, mint amennyit sok rivális kutatási program lehetővé tett.

74. A pénz nem vásárolta meg minden kívánt képességet igény szerint.

75. Viszont több kísérletet, nagyobb adatkészleteket, szakosodott személyzetet és ismételt lehetőségeket biztosított egy már ismert terv továbbfejlesztésére.

76. A korai siker ezért megváltoztatta a későbbi siker valószínűségét.

77. Ez a döntő lépés a kronológiától az útfüggőség felé.

78. A transzformátor nem pusztán azért vált meghatározóvá, mert elsőként jelent meg, hiszen nem ez volt a helyzet.

79. Egyre vonzóbbá vált, mert az alkalmazása kiegészítő beruházásokat generált, amelyek csökkentették a további alkalmazás költségeit és kockázatait.

80. A szoftverkönyvtárak szabványosított transzformátor-komponensekkel bővültek.

81. A kutatók optimalizált implementációkat, hibakereső eszközöket, betanítási útmutatókat és a gyakori hibákról szóló részletes leírásokat állítottak elő.

82. A hardvergyártók tovább gyorsították a sűrű mátrixszorzást és a mélytanulás során hasznos alacsonyabb pontosságú aritmetikát, míg a szoftverszakértők az „attention” memóriamintáihoz igazították a kerneleiket.

83. A hardvert nem kizárólag egy architektúrára tervezték, és az architektúrát sem egyszerűen a hardver határozta meg.

84. Összhanguk mindkét oldalról hozott számos döntés révén javult.

85. A FlashAttention e kölcsönös alkalmazkodás egyik szemléltető példája.

86. Nem változtatja meg a pontos figyelem matematikai eredményét, hanem átszervezi a számításokat, hogy csökkentse a gyors chip-beli memória és a lassabb, nagy sávszélességű memória közötti költséges adatátviteleket.

87. Az algoritmus megőrzi az architektúrát, miközben jobban hozzáigazítja azt ahhoz a géphez, amelyen fut.

88. Az ilyen munka valódi hatékonyságnövekedést eredményezhet, és egyúttal növeli a már kialakult úton való továbbhaladás értékét.

89. Az oktatás egy újabb réteget ad hozzá.

90. A kurzusok, oktatóanyagok, tankönyvek és az interjúkra való felkészülés azokat a fogalmakat tanítják, amelyekre a munkaadóknak szükségük van.

91. A munkaadók olyan embereket keresnek, akik képesek a már általuk üzemeltetett rendszereken dolgozni.

92. A növekvő munkaerő-állománynak köszönhetően pedig könnyebb személyzetet biztosítani az ezeket a rendszereket használó projektekhez.

93. Nincs szükség központi tervezőre, aki előírná a tananyagot ahhoz, hogy ez a kör önmagát erősítse.

94. Az előre betanított modellek hasonló hatást váltanak ki, de sokkal nagyobb léptékben.

95. Egy kutatócsoport adaptálhat egy meglévő modellt, ahelyett, hogy pénzt fizetne azért, hogy a betanítást az elejétől kezdve újra elvégezze.

96. Ez az örökség megnyitja a kutatást azoknak a csoportoknak is, amelyek maguk nem tudnának nagy modellt betanítani.

97. Ez azt is jelenti, hogy több projekt indul el a rendelkezésre álló modellbe beágyazott feltételezések alapján.

98. A közös értékelési gyakorlatok biztosítják az összehasonlíthatóságot, amelyre a kumulatív tudománynak szüksége van.

99. Ugyanakkor, amikor a széles körben használt tesztek olyan feladatokat és formátumokat részesítenek előnyben, amelyek már a meglévő architektúrához kapcsolódnak, a figyelmet olyan fejlesztések felé terelhetik, amelyeket a meglévő rendszer könnyen bemutathat.

100. A könyvtárak, a betanított modellek, a képzett munkaerő, a hardver és a mérések egymást kiegészítő beruházások.

101. Mindegyik önmagában is hasznos.

102. Együtt egy olyan ökoszisztémát alkotnak, amelynek cseréje sokkal drágább, mint egy diagram vagy néhány egyenlet cseréje.

103. Ez az ökoszisztéma egy hasznos „bezártság”.

104. Csökkenti a belépési költségeket, lehetővé teszi az eredmények felhalmozódását, biztosítja a rendszerek közötti együttműködést, és olyan fejlesztéseket tesz lehetővé, amelyeket egyetlen elszigetelt laboratórium sem tudna előállítani.

105. Ugyanezek az előnyök váltási költségeket is okoznak, mivel egy alternatívának vagy fel kell adnia őket, vagy kompatibilissé kell válnia velük.

106. A „bezártság” itt nem azt jelenti, hogy a változás lehetetlen.

107. Azt jelenti, hogy a jelenlegi út meghatározza, mely alternatívákat lehet olcsón tesztelni, hitelesen összehasonlítani, könnyen személyzettel ellátni és hősi türelem nélkül finanszírozni.

108. Képzeljük el, hogy egy valóban eltérő szekvencia-architektúrát javaslunk.

109. Az első összehasonlítás egyszerűnek tűnik: valósítsuk meg az alternatívát, és teszteljük le egy transzformátorral szemben.

110. A transzformátoros alapvonal azonban évek óta optimalizált magokkal, ismert hiperparaméterekkel, méretezési tapasztalatokkal, előre betanított ellenőrzőpontokkal és hibaelhárítási ismeretekkel rendelkezik.

111. A kihívó újrahasznosíthat néhány általános eszközt, így nem a nulláról indul.

112. Mindazonáltal sok olyan kiegészítő nélkül indul, amelyek az alapmodellt olcsóvá és megbízhatóvá teszik.

113. Egy kiábrándító első eredmény ezért legalább három különböző dolgot jelenthet.

114. Lehet, hogy az új elv gyenge, a megvalósítása éretlen, vagy az összehasonlítás inkább a felhalmozott finomításokat díjazza, mint pusztán az architektúra érdemeit.

115. További finomításokkal meg lehet különböztetni ezeket a magyarázatokat, de a finomítás pénzt és időt emészt fel, amelyek mennyiségét az első eredmény segít meghatározni.

116. Ez küszöbproblémát teremt.

117. Előfordulhat, hogy egy alternatívába jelentős beruházás szükséges, mielőtt befektetésre érdemesnek tűnne.

118. Azok a bírálók, akik erős alapvonalakat követelnek, a szakirodalom minőségét védik.

119. Azok a laboratóriumvezetők, akik elkerülik a hosszú, spekulatív projekteket, a támogatásokat és a karrierjeiket védik.

120. Azok a posztgraduális hallgatók, akik olyan munkát választanak, amely hiteles utat kínál a publikáláshoz, ésszerűen reagálnak a korlátozott időre.

121. A megalapozott döntések így is szűk keresési körré összeadódhatnak.

122. Ehhez a mechanizmushoz nincs szükség sem gazemberre, sem összeesküvésre.

123. A várakozások elegendőek ahhoz, hogy ezt tovább erősítsék.

124. Ha a kutatók, a beszállítók és a finanszírozók arra számítanak, hogy a transzformátor-alapú módszerek továbbra is központi szerepet töltenek be, akkor az ezekhez a módszerekhez tervezett készségek és termékek biztonságosabbnak tűnnek.

125. Ezek a beruházások pedig növelik annak valószínűségét, hogy a várakozás valóra váljon.

126. A dominancia azonban nem bizonyíték a elkerülhetetlen vagy tartós felsőbbrendűségre.

127. Maga a transzformátor felemelkedése a legerősebb figyelmeztetés e következtetés ellen.

128. A rekurens rendszerek 2017-ben már rendelkeztek kiforrott szoftverrel, képzett szakértőkkel és sikeres bevezetési eredményekkel.

129. Egy új architektúra gyorsan kiszorította őket fontos területeken, mert lenyűgöző fejlődést hozott, miközben a meglévő mélytanulási réteg nagy részét újrahasznosította.

130. Az útfüggőség sem minden változást, sem minden új belépőt egyformán nem lassított.

131. Egy olyan szomszédos alternatíva, amely megőrzi az értékes kiegészítő elemeket, sokkal könnyebben lépheti át a küszöböt, mint egy olyan, amely teljesen új ökoszisztémát igényel.

132. A jelenlegi alternatívák jól illusztrálják ezt a különbséget.

133. A strukturált állapot-tér modellek szintén egy kompakt állapotot visznek át egy sorozaton, de nem egyszerűen az 1990-es évek rekurens hálózatainak visszatérését jelentik.

134. Ezek más matematikai módszereket és algoritmusokat alkalmaznak, amelyeket úgy terveztek, hogy a képzés során kihasználják a párhuzamos hardvert.

135. A 2023-ban bemutatott Mamba saját, hardvertudatos párhuzamos algoritmusát az architektúra-javaslat részévé tette.

136. Szerzői versenyképes eredményekről számoltak be több szekvencia-területen, a szekvencia hosszának lineáris skálázásával együtt.

137. Ezek az eredmények azt bizonyítják, hogy a tervezési tér egy másik régiója is elérhető, nem pedig azt, hogy a transzformátorok már elavultak.

138. Az összehasonlítás továbbra is függ a feladattól, a mérettől, a megvalósítás érettségétől, a következtetés mintázatától és az egyes tervekre fordított erőforrásoktól.

139. A hibrid rendszerek egy másik utat kínálnak.

140. Képesek kombinálni az attentiont a rekurzióval, a konvolúcióval, a ritka útválasztással vagy a terület-specifikus geometriai műveletekkel.

141. Az ilyen tervek inkább fokozatosan változtatják meg az utat, ahelyett, hogy egyszerre elutasítanák az összes örökölt komponenst.

142. Még a transzformerek keretein belül is a csoportosított vagy ritka figyelem, az új pozicionális módszerek, a szakértői keverék rétegek és a memóriahatékony kernelei megváltoztatták azt, hogy mi számít architektúrának.

143. Egy sikeres szabvány ritkán marad meg az eredeti formájában.

144. Olyan platformmá válhat, amelyen a variációk egy stabil mag felett gyorsulnak fel.

145. Ez a rugalmasság az egyik oka annak, hogy a mag továbbra is fennmarad.

146. Ugyanakkor bonyolítja annak vizsgálatát is, hogy egy rivális valóban kívül esik-e a kialakult úton.

147. Az eredeti szövegben szereplő, a biológiai testfelépítéshez való hasonlítás ennek a mintázatnak egy részét ragadja meg.

148. Az állati leszármazási vonalakban a konzervált fejlődési folyamatok miatt egyes variációk könnyebben megvalósíthatók anélkül, hogy számos kapcsolódó rendszert megzavarnának, míg a mélyebb változtatások összetettebb következményekkel járnak.

149. Egy kutatási architektúra hasonlóképpen támogathatja a méret, az adatok, a képzési célok és az alkalmazások terén fellépő hatalmas variációt, miközben a központi interfészeinek megváltoztatása szélesebb körű költségekkel jár.

150. Az analógia feltárja a korlát helyét: nem egyetlen komponensben, hanem a körülötte szerveződő függőségekben.

151. Határa éppoly fontos.

152. A biológiai fejlődés a szaporodás révén öröklődik, és minden generációban életképes organizmusokat kell létrehoznia.

153. A gépi tanulási architektúra egy kifejezetten emberi konstrukció, amelyet összehangolt döntés alapján meg lehet vizsgálni, lemásolni, módosítani és kicserélni.

154. A kicserélés költségei ezért nem egyenértékűek a genetikai vagy fejlődési lehetetlenséggel.

155. Ezek a kompatibilitás elvesztéséből, az újratanításból, a bizonytalan teljesítményből, a csapatok átszervezéséből, a szoftver átírásából és a megtérülést vesztett beruházásokból állnak.

156. Az, hogy ezeket a korlátokat társadalmiaknak nevezzük, még nem teszi őket képzeletbelivé.

157. Az, hogy pályafüggőnek nevezzük őket, még nem teszi őket sorsszerűvé.

158. A fizikai korlátokat, a jelenlegi feladatkövetelményeket és a szokásos kompromisszumokat is el kell különíteni a történelmi kötöttségektől.

159. A hosszú szekvenciák számításigényesek maradnának akkor is, ha a transzformátorok soha nem léteztek volna.

160. A pontosság és a hatékonyság bizonyos tervezési megoldásokban továbbra is ütközne egymással, és a speciális feladatok továbbra is a speciális struktúrákat részesítenék előnyben.

161. Ezek önmagukban nem egy korábbi döntés eredményei.

162. Az útfüggőségre vonatkozó állítás szűkebb értelemben értendő: a múltbeli sikerek olyan környezetet teremtettek, amelyben egy megoldáscsalád olcsóbb kísérletekhez, egyértelműbb összehasonlításokhoz, kompatibilisebb hardverhez és szoftverhez, valamint gyakorlottabb ítélőképességre támaszkodhat.

163. Ez a környezet megváltoztatja a későbbi lehetőségek terét, anélkül hogy teljes mértékben meghatározná azt.

164. Akár javíthatja is az evolúciós képességet a kialakult megoldáscsaládon belül azáltal, hogy megbízható komponenseket biztosít a kutatóknak újrakombinálásra.

165. Amit viszont csökkenthet, az az evolúciós képesség azon a szinten, ahol ezeket a komponenseket és interfészeket együtt kellene kicserélni.

166. Hogy ez az alku jó-e, azt nem lehet kizárólag a piaci részesedés alapján eldönteni.

167. Ez a koordináció által teremtett értéktől, az elhanyagolt alternatívák minőségétől, az átállás költségétől és a maradás következményeitől függ.

168. Ezen bizonyítékok nagy része éppen azért nem áll rendelkezésre, mert az alternatívák nem kaptak egyenlő fejlesztést.

169. A bizonytalanság mindkét irányba hat.

170. A transzformátor azért maradhat központi szerepben, mert szokatlanul képzett, mert ökoszisztémája szokatlanul erős, vagy mert a két előny már nem választható szét egyértelműen.

171. Egy hiteles elemzésnek nem szabad úgy tennie, mintha tudná, melyik tényezőnek mekkora a részesedése.

172. Meg kell határoznia azokat a visszacsatolási hurkokat, amelyek miatt nehéz megválaszolni a kérdést.

173. Ezeket a hurkokat lehet gyengíteni vagy átirányítani.

174. Egy drámai teljesítménybeli áttörés indokolhatja a kiegészítő elemek elhagyását, ahogyan azt maga a transzformátor is bebizonyította.

175. A kompatibilitási rétegek lehetővé tehetik, hogy egy kihívó a piacon már jelen lévő szereplő szoftverét és hardverét használja.

176. A nyilvános teljesítménytesztek körét bővíteni lehet, és a hosszú távú kutatások megőrizhetik az alternatívákat még mielőtt azok azonnali kereskedelmi értéke láthatóvá válna.

177. Az új hardver emellett a korábban nehézkes műveleteket is kivitelezhetővé teheti.

178. E változások egyike sem garantálja, hogy egy elhanyagolt terv jobb lenne.

179. Megakadályozzák, hogy az alacsonyabb színvonal kizárólag egy olyan ökoszisztéma hiánya miatt legyen megállapítható, amelyet csak a széles körű elterjedés hozhatna létre.

180. Térjünk vissza most az ábrához.

181. A téglalapok a számításokat ábrázolják, de nem a képzett mérnököket, a fordítóprogram-kódot, a chipellátást, az adatkészleteket, a tőkebudgeteket vagy az értékelési rutinokat, amelyek ezeknek a számításoknak gyakorlati jelentőséget adnak.

182. A látható architektúra csupán az út legfelső rétege.

183. Alatta azok a felhalmozódott döntések rejlenek, amelyek egy irányt könnyebbé tettek a folytatáshoz, más irányokba való belépést pedig drágábbá.

184. Nyolc kutató azzal a céllal indult el, hogy fejlessze a gépi fordítást, nem pedig azért, hogy végleges tervet válasszon az intelligens gépek számára.

185. Tanulmányuk megnyitott egy utat, és az erős eredmények vonzották az embereket arra az útra.

186. Minden könyvtár, tanfolyam, ellenőrzőpont, optimalizált kernel és kompatibilis gép ezután tovább tágította a nyíláson túli tereket.

187. Ugyanakkor a máshol található bejáratok egyre nehezebben észrevehetők és egyre költségesebbek lettek.

188. Így lehet, hogy egy architektúra messze nem határozza meg mindent, mégis szinte mindent átformál, ami utána következik.

1. Es gibt ein Diagramm, auf das viele Menschen, die sich mit modernem maschinellem Lernen beschäftigen, schon früh stoßen.

2. Es ist nicht besonders auffällig.

3. Zwei Spalten aus Rechtecken stehen übereinander, Pfeile verlaufen nach oben, Schleifen führen zur Seite zurück, und eine Handvoll Beschriftungen ist in kleiner Schrift zu sehen.

4. Seit 2017 haben sich Varianten dieses Diagramms von einem Artikel über maschinelle Übersetzung in Hörsäle, Software-Dokumentationen, Konferenzvorträge und technische Erklärungen verbreitet.

5. Es stellt eine Anordnung mathematischer Operationen zur Verarbeitung von Sequenzen dar, und diese Anordnung wird als „Transformer“ bezeichnet.

6. Selten bringt ein Fachgebiet ein einziges Bild hervor, das so schnell zu einem Erkennungsmerkmal wird.

7. Die Reichweite des Transformers hat sich zudem weit über die Sätze hinaus ausgedehnt, für die er ursprünglich demonstriert wurde.

8. Varianten verarbeiten mittlerweile Bildausschnitte, Sprache, Musik, Videos und biologische Sequenzen.

9. Spezialisierte Systeme zur Vorhersage von Proteinstrukturen nutzen „Attention“ zusammen mit Operationen, die für die Molekülgeometrie entwickelt wurden, während viele andere erfolgreiche Systeme Transformer-Blöcke mit Faltungen, Graphen oder Rekursion kombinieren.

10. Ein Satz, ein Bild und ein Protein sind nicht heimlich dieselbe Art von Objekt.

11. Forscher machen sie für entsprechende Mechanismen handhabbar, indem sie jedes als geordnete Sammlung von Elementen darstellen und die Mechanismen dann an den jeweiligen Bereich anpassen.

12. Diese Einschränkung ist wichtig, da die Verbreitung eines Werkzeugs dessen Anwendungsbereich universeller erscheinen lassen kann, als er tatsächlich ist.

13. Das Diagramm ist zu einer Landkarte dessen geworden, was ein großer Teil des Fachgebiets zu bauen versteht.

14. Es ist verlockend, diese Landkarte als Karte des einzig vielversprechenden Gebiets zu interpretieren.

15. Das ist nicht dasselbe.

16. Der Titel dieses Kapitels ist daher eine bewusste Übertreibung.

17. Die Architektur hat nicht alles bestimmt, und sie hat sich nicht aus nur einem einzigen Grund verbreitet.

18. Sie lieferte überzeugende Ergebnisse, nutzte die verfügbare Hardware gut aus, ließ sich auf viele Aufgaben skalieren und kam zu einem Zeitpunkt auf den Markt, als das umliegende Fachgebiet ihre Vorteile verstärken konnte.

19. Die Frage ist nicht, ob technische Vorzüge oder historische Verstärkung ihren Erfolg erklären.

20. Die Frage ist, wie sich Vorzüge, Zeitpunkt, Infrastruktur und Investitionen so miteinander verflochten haben, dass jedes dieser Elemente die anderen noch bedeutender machte.

21. Vor 2017 stützten sich viele führende Systeme für Sprache und andere Sequenzen auf rekurrente neuronale Netze.

22. Ein rekurrentes System verarbeitete eine Position, aktualisierte einen internen Zustand und übertrug diesen Zustand auf die nächste Position.

23. Diese Anordnung entsprach auf intuitiv befriedigende Weise der Reihenfolge der Sprache.

24. Sie schuf zudem eine rechnerische Abhängigkeit, da der Zustand an einer Position vom unmittelbar zuvor erzeugten Zustand abhing.

25. Long-Short-Term-Memory-Netzwerke, die 1997 von Sepp Hochreiter und Jürgen Schmidhuber eingeführt wurden, halfen rekurrenten Systemen dabei, nützliche Signale über längere Zeiträume hinweg zu bewahren.

26. Spätere rekurrente Designs verbesserten die Übersetzung, die Spracherkennung und die Sprachmodellierung.

27. Das „Attention“-Verfahren hielt noch vor dem Transformer Einzug in diese Welt.

28. In einer Veröffentlichung zur maschinellen Übersetzung aus dem Jahr 2014 ließen Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio einen rekurrenten Decoder verschiedenen Teilen eines kodierten Ausgangssatzes unterschiedliche Gewichte zuweisen.

29. Dieser Mechanismus nahm den Druck, einen gesamten Satz in eine Darstellung fester Länge zu pressen.

30. Die Rekursion wurde dadurch jedoch noch nicht beseitigt.

31. Das Modell schritt bei seiner Ausgabe weiterhin Schritt für Schritt voran, während „Attention“ ihm half, zu entscheiden, welche Quellinformationen verwendet werden sollten.

32. Die sequenzielle Abhängigkeit war kein fataler Mangel, und rekurrente Modelle konnten Parallelität zwischen Beispielen und innerhalb vieler zugrunde liegender Operationen nutzen.

33. Dennoch schränkte diese Abhängigkeit ein, wie viel von einer einzelnen Sequenz während des Trainings gleichzeitig verarbeitet werden konnte.

34. Zusätzliche Prozessoren konnten die arithmetischen Berechnungen rund um die Rekursion beschleunigen, aber sie konnten einen späteren Zustand nicht vor dem früheren Zustand bereitstellen, von dem er abhing.

35. Gleichzeitig hatten die am leichtesten zugänglichen Hochleistungsrechner eine ganz andere Stärke entwickelt.

36. Grafikprozessoren waren entwickelt worden, um viele ähnliche Berechnungen parallel auszuführen, zunächst für Bilder und zunehmend für allgemeine wissenschaftliche Berechnungen und neuronale Netze.

37. Das Training neuronaler Netze ist reich an großen Matrixmultiplikationen, die solche Prozessoren effizient bewältigen.

38. Die Hardware erforderte keine Transformer, da auch konvolutionelle und rekurrente Netze davon profitierten.

39. Sie begünstigte jedoch Modelle, die einen größeren Teil ihrer Arbeit als große Stapel paralleler Matrixoperationen darstellen konnten.

40. Die acht Autoren der Veröffentlichung „Attention Is All You Need“ aus dem Jahr 2017 gestalteten die Sequenzverarbeitung entsprechend dieser Möglichkeit neu.

41. Ihr Transformer verzichtete in seinen Hauptblöcken zur Sequenzverarbeitung sowohl auf Rekursion als auch auf Faltung.

42. Stattdessen ermöglichte die Selbstaufmerksamkeit jedem dargestellten Element, Informationen aus anderen Elementen derselben Sequenz zu beziehen.

43. Für jedes Element erzeugte das Modell mathematische Darstellungen, die gemeinhin als „Queries“, „Keys“ und „Values“ bezeichnet werden.

44. Vergleiche zwischen Queries und Keys bestimmten, wie stark die entsprechenden Werte zur aktualisierten Darstellung beitrugen.

45. Mehrere Attention-Heads konnten gleichzeitig unterschiedliche Beziehungsmuster erlernen.

46. Es handelte sich hierbei nicht im wörtlichen Sinne um eine Maschine, die Wörter betrachtet, und die visuelle Sprache der Attention sollte die gewichteten numerischen Operationen nicht verschleiern.

47. In einem Encoder konnten die Vergleiche für alle Positionen während des Trainings parallel berechnet werden.

48. Ein auf bekannten Zielsequenzen trainierter Decoder konnte ebenfalls viele Positionen parallel verarbeiten, während Informationen aus zukünftigen Positionen ausgeblendet wurden.

49. Die Generierung neuen Textes blieb auf der äußersten Ebene sequenziell, da das nächste Token weiterhin von bereits generierten Token abhing.

50. Der Transformer beseitigte somit einen wesentlichen Trainingsengpass, ohne dabei jede Sequenzabhängigkeit aufzuheben.

51. Die Rekursion hatte durch die Abfolge von Zuständen automatisch für Ordnung gesorgt.

52. Ein Transformer musste Informationen über die Position explizit erhalten, sei es durch Positionskodierungen oder spätere Alternativen, die demselben Zweck dienen.

53. Auch die Standard-Selbstaufmerksamkeit verursachte einen Aufwand.

54. Der Vergleich jeder Position mit jeder anderen Position führt dazu, dass der grundlegende Zeit- und Speicherbedarf quadratisch mit der Sequenzlänge ansteigt.

55. Eine Verdopplung der Länge kann daher den Aufwand dieser Aufmerksamkeitsoperation um etwa das Vierfache erhöhen, obwohl die Kosten eines gesamten Modells auch andere Komponenten umfassen.

56. Dies ist eine gravierende Schwäche bei langen Sequenzen, jedoch kein Beweis dafür, dass die zugrunde liegende Idee theoretisch minderwertig ist.

57. Eine Architektur wird niemals allein anhand eines einzigen Komplexitätsmaßes beurteilt.

58. Der tatsächliche Nutzen hängt von der Genauigkeit, der Dateneffizienz, der Optimierbarkeit, dem Speicherverkehr, den verfügbaren Kernen, der Hardwareauslastung und der jeweiligen Aufgabe ab.

59. Die ursprüngliche Transformer-Veröffentlichung lieferte konkrete und vergleichsweise bescheidene Argumente.

60. Sie berichtete von einer besseren Übersetzungsqualität als die von den Autoren verwendeten Vergleichssysteme, bei weitaus besser parallelisierbarem Training und deutlich kürzerer Trainingszeit.

61. Die Architektur wurde zudem auf die Konstituentenanalyse im Englischen angewendet, doch es wurde nicht behauptet, die endgültige Form der künstlichen Intelligenz entdeckt zu haben.

62. Die weitreichenderen Konsequenzen ergaben sich aus den nachfolgenden Arbeiten.

63. Forscher passten die Architektur an das unüberwachte Vortraining an, bauten darauf aufbauend große Sprachmodelle auf und wandten verwandte Designs auf andere Bereiche an.

64. Im Bereich der Bildverarbeitung beispielsweise konnte ein Transformer, der auf Bildausschnitten arbeitete, bei ausreichender Datenmenge im Training stark mit etablierten Faltungsnetzwerken konkurrieren.

65. Diese Errungenschaft zeigte die Übertragbarkeit zwischen verschiedenen Domänen, doch ihre Abhängigkeit von Skalierung und Repräsentation machte auch deutlich, dass derselbe Entwurf den Charakter des Problems nicht auslöschte.

66. Der Erfolg der Architektur beruhte zum einen darauf, dass sie allgemein genug war, um modifiziert zu werden, und zum anderen darauf, dass die umgebende Infrastruktur diese Modifikationen effizient ausführen konnte.

67. Diese beiden Vorteile verstärkten sich gegenseitig.

68. Eine weitere Bestätigung ergab sich, als Forscher untersuchten, wie sich die Leistung von Sprachmodellen mit zunehmendem Umfang veränderte.

69. Experimente zeigten relativ gleichmäßige Potenzgesetz-Beziehungen zwischen dem Trainingsverlust und der Zunahme von Modellgröße, Datenmenge und Rechenaufwand über die untersuchten Bereiche hinweg.

70. Dabei handelte es sich um empirische Regelmäßigkeiten, nicht um eine Theorie, die garantierte, dass sich jede Leistungsfähigkeit gleichmäßig verbessern würde oder dass diese Beziehungen unbegrenzt fortbestehen würden.

71. Spätere Arbeiten überarbeiteten zudem die Aufteilung eines festen Rechenbudgets zwischen Modellgröße und Trainingsdaten.

72. Diese Überarbeitungen machten die Investitionslogik nicht zunichte; sie präzisierten vielmehr die Vorgaben für den Einsatz von Rechenleistung.

73. Sobald zusätzliche Ressourcen messbare Verbesserungen mit einer gewissen Vorhersagbarkeit erbrachten, konnten Labore und Unternehmen größere Trainingsläufe mit geringerer Unsicherheit planen, als es viele konkurrierende Forschungsprogramme zuließen.

74. Geld kaufte nicht jede gewünschte Fähigkeit auf Abruf.

75. Es ermöglichte jedoch mehr Experimente, größere Datensätze, spezialisiertes Personal und wiederholte Gelegenheiten, ein bekanntes Design zu verbessern.

76. Frühe Erfolge veränderten daher die Wahrscheinlichkeit späterer Erfolge.

77. Dies ist der entscheidende Schritt von der Chronologie zur Pfadabhängigkeit.

78. Der Transformer wurde nicht allein deshalb zum Standard, weil er als Erster kam – denn das tat er nicht.

79. Er wurde zunehmend attraktiver, weil seine Einführung ergänzende Investitionen nach sich zog, die die Kosten und das Risiko einer erneuten Einführung senkten.

80. Softwarebibliotheken erhielten standardisierte Transformer-Komponenten.

81. Forscher entwickelten optimierte Implementierungen, Debugging-Tools, Trainingsanleitungen und detaillierte Beschreibungen häufiger Fehlerquellen.

82. Hardware-Anbieter beschleunigten weiterhin die dichte Matrixmultiplikation und die Arithmetik mit geringerer Genauigkeit, die im Deep Learning nützlich sind, während Software-Spezialisten Kernel an die Speichermuster der Attention anpassten.

83. Die Hardware war nicht für eine einzige Architektur konzipiert, und die Architektur wurde nicht einfach von der Hardware vorgegeben.

84. Ihre Kompatibilität verbesserte sich durch zahlreiche Entscheidungen auf beiden Seiten.

85. FlashAttention bietet ein aufschlussreiches Beispiel für diese gegenseitige Anpassung.

86. Es verändert das mathematische Ergebnis der exakten Attention nicht, sondern reorganisiert die Berechnung, um aufwendige Übertragungen zwischen schnellem On-Chip-Speicher und langsamerem Speicher mit hoher Bandbreite zu reduzieren.

87. Der Algorithmus bewahrt die Architektur und passt sie gleichzeitig besser an die Maschine an, auf der er läuft.

88. Solche Arbeiten können echte Effizienzgewinne erzielen und gleichzeitig den Wert des Festhaltens am eingeschlagenen Weg steigern.

89. Die Ausbildung fügt eine weitere Ebene hinzu.

90. Kurse, Tutorien, Lehrbücher und die Vorbereitung auf Vorstellungsgespräche vermitteln die Konzepte, nach denen Arbeitgeber fragen.

91. Arbeitgeber suchen nach Mitarbeitern, die mit den Systemen arbeiten können, die sie bereits betreiben.

92. Eine wachsende Zahl an Fachkräften erleichtert es dann, Projekte, die diese Systeme nutzen, mit Personal zu besetzen.

93. Es bedarf keiner zentralen Planungsinstanz, die einen Lehrplan vorschreibt, damit sich dieser Kreislauf selbst verstärkt.

94. Vortrainierte Modelle erzeugen einen ähnlichen Effekt in viel größerem Maßstab.

95. Eine Forschungsgruppe kann ein bestehendes Modell anpassen, anstatt dafür zu bezahlen, dessen Training von Grund auf neu durchzuführen.

96. Dieses Erbe eröffnet Forschungsmöglichkeiten für Gruppen, die selbst kein großes Modell trainieren könnten.

97. Es bedeutet auch, dass mehr Projekte auf der Grundlage der in dem verfügbaren Modell verankerten Annahmen entstehen.

98. Gemeinsame Bewertungsverfahren sorgen für Vergleichbarkeit, die die kumulative Wissenschaft benötigt.

99. Wenn jedoch weit verbreitete Tests Aufgaben und Formate begünstigen, die bereits mit einer etablierten Architektur verbunden sind, können sie die Aufmerksamkeit auf Verbesserungen lenken, die sich mit dieser Architektur leicht demonstrieren lassen.

100. Bibliotheken, trainierte Modelle, qualifizierte Arbeitskräfte, Hardware und Messungen sind sich ergänzende Investitionen.

101. Jedes davon ist für sich genommen nützlich.

102. Zusammen bilden sie ein Ökosystem, dessen Ersatz weitaus teurer ist als der Austausch eines Diagramms oder einiger weniger Gleichungen.

103. Dieses Ökosystem stellt eine nützliche Bindung dar.

104. Es senkt die Einstiegskosten, ermöglicht die Akkumulation von Ergebnissen, sorgt für die Interoperabilität von Systemen und ermöglicht Verbesserungen, die kein isoliertes Labor allein hervorbringen könnte.

105. Dieselben Vorteile verursachen Wechselkosten, da eine Alternative diese entweder aufgeben oder mit ihnen kompatibel werden muss.

106. „Lock-in“ bedeutet hier nicht, dass Veränderungen unmöglich sind.

107. Es bedeutet, dass der derzeitige Weg beeinflusst, welche Alternativen kostengünstig getestet, glaubwürdig verglichen, problemlos mit Personal ausgestattet und ohne übermenschliche Geduld finanziert werden können.

108. Stellen Sie sich vor, Sie würden eine wirklich andere Sequenzarchitektur vorschlagen.

109. Der erste Vergleich scheint einfach: Implementieren Sie die Alternative und testen Sie sie gegen einen Transformer.

110. Die Transformer-Baseline verfügt jedoch über jahrelang optimierte Kernel, bekannte Hyperparameter, Skalierungserfahrung, vortrainierte Checkpoints und Wissen zur Fehlerbehebung.

111. Der Herausforderer kann einige allgemeine Werkzeuge wiederverwenden, beginnt also nicht bei Null.

112. Dennoch startet er ohne viele der Ergänzungen, die die Baseline kostengünstig und zuverlässig machen.

113. Ein enttäuschendes erstes Ergebnis kann daher mindestens drei verschiedene Dinge bedeuten.

114. Das neue Prinzip mag schwach sein, seine Implementierung mag unausgereift sein, oder der Vergleich belohnt möglicherweise eher die kumulierte Verfeinerung als den architektonischen Wert allein.

115. Durch weitere Feinabstimmung lassen sich diese Erklärungen voneinander abgrenzen, doch die Feinabstimmung verbraucht Geld und Zeit, deren Umfang durch das erste Ergebnis mitbestimmt wird.

116. Dies führt zu einem Schwellenwertproblem.

117. Eine Alternative erfordert möglicherweise erhebliche Investitionen, bevor sie als investitionswürdig erscheint.

118. Gutachter, die starke Basislinien fordern, schützen die Qualität der Fachliteratur.

119. Laborleiter, die ein langwieriges, spekulatives Projekt vermeiden, schützen Fördermittel und Karrieren.

120. Doktoranden, die sich für eine Arbeit mit einem glaubwürdigen Weg zur Veröffentlichung entscheiden, reagieren rational auf ihre begrenzte Zeit.

121. Vertretbare Entscheidungen können dennoch zu einer engen Suche führen.

122. Dieser Mechanismus erfordert weder einen Bösewicht noch eine Verschwörung.

123. Erwartungen reichen aus, um ihn weiter zu verstärken.

124. Wenn Forscher, Anbieter und Förderer davon ausgehen, dass transformatorbasierte Methoden weiterhin im Mittelpunkt stehen werden, erscheinen für diese Methoden entwickelte Kompetenzen und Produkte sicherer.

125. Diese Investitionen erhöhen dann die Wahrscheinlichkeit, dass sich diese Erwartung erfüllt.

126. Dominanz ist jedoch kein Beweis für unvermeidliche oder dauerhafte Überlegenheit.

127. Der Aufstieg des Transformers selbst ist die stärkste Warnung vor dieser Schlussfolgerung.

128. Rekurrente Systeme verfügten im Jahr 2017 über ausgereifte Software, geschulte Experten und eine Erfolgsbilanz bei der erfolgreichen Implementierung.

129. Eine neue Architektur verdrängte sie in wichtigen Bereichen rasch, da sie eine überzeugende Verbesserung lieferte und dabei einen Großteil des bestehenden Deep-Learning-Stacks wiederverwendete.

130. Die Pfadabhängigkeit bremste weder jede Veränderung noch jeden Marktneuling gleichermaßen.

131. Eine benachbarte Alternative, die wertvolle Komplementaritäten bewahrt, kann die Schwelle viel leichter überwinden als eine, die ein völlig neues Ökosystem erfordert.

132. Aktuelle Alternativen veranschaulichen diesen Unterschied.

133. Strukturierte Zustandsraummodelle führen erneut einen kompakten Zustand durch eine Sequenz, sind jedoch nicht einfach eine Rückkehr zu den rekurrenten Netzwerken der 1990er Jahre.

134. Sie nutzen andere mathematische Verfahren und Algorithmen, die darauf ausgelegt sind, parallele Hardware während des Trainings auszunutzen.

135. Mamba, das 2023 vorgestellt wurde, machte seinen eigenen hardwareorientierten Parallelalgorithmus zu einem Bestandteil des Architekturvorschlags.

136. Seine Autoren berichteten von wettbewerbsfähigen Ergebnissen in mehreren Sequenzbereichen sowie einer linearen Skalierung der Sequenzlänge.

137. Diese Ergebnisse sind ein Beleg dafür, dass ein anderer Bereich des Entwurfsraums erreichbar ist, und kein Urteil darüber, dass Transformer überholt sind.

138. Der Vergleich hängt nach wie vor von der Aufgabe, dem Umfang, der Reife der Implementierung, dem Inferenzmuster und den für jedes Design aufgewendeten Ressourcen ab.

139. Hybride Systeme bieten einen weiteren Weg.

140. Sie können Attention mit Rekursion, Faltung, Sparse Routing oder domänenspezifischen geometrischen Operationen kombinieren.

141. Solche Designs verändern den Ansatz schrittweise, anstatt jede geerbte Komponente auf einmal zu verwerfen.

142. Selbst innerhalb von Transformern haben gruppierte oder spärliche Attention, neue Positionsmethoden, „Mixture-of-Experts“-Schichten und speichereffiziente Kernel verändert, was als Architektur gilt.

143. Ein erfolgreicher Standard ist selten in seiner ursprünglichen Form festgeschrieben.

144. Er kann zu einer Plattform werden, auf der sich Variationen auf der Grundlage eines stabilen Kerns beschleunigen.

145. Diese Flexibilität ist ein Grund dafür, dass der Kern bestehen bleibt.

146. Sie erschwert es zudem, zu prüfen, ob ein Konkurrent wirklich außerhalb des etablierten Pfades liegt.

147. Der Vergleich des Originaltextes mit einem biologischen Körperbauplan erfasst einen Teil dieses Musters.

148. In Tierlinien können konservierte Entwicklungsprozesse manche Variationen erleichtern, ohne viele miteinander verbundene Systeme zu stören, während tiefgreifendere Veränderungen mit komplexeren Folgen verbunden sind.

149. Eine Forschungsarchitektur kann ebenfalls enorme Variationen in Bezug auf Umfang, Daten, Trainingsziel und Anwendung unterstützen, während Änderungen an ihren zentralen Schnittstellen weitreichendere Kosten mit sich bringen.

150. Die Analogie offenbart den Ort der Einschränkung: nicht in einer einzelnen Komponente, sondern in den um sie herum organisierten Abhängigkeiten.

151. Ihre Grenze ist ebenso wichtig.

152. Die biologische Entwicklung wird durch Fortpflanzung vererbt und muss über jede Generation hinweg lebensfähige Organismen hervorbringen.

153. Eine Architektur für maschinelles Lernen ist eine explizite menschliche Konstruktion, die durch koordinierte Entscheidungen überprüft, kopiert, modifiziert und ersetzt werden kann.

154. Die Kosten für ihren Austausch sind daher nicht mit genetischer oder entwicklungsbiologischer Unmöglichkeit gleichzusetzen.

155. Sie bestehen aus verlorener Kompatibilität, Umschulung, ungewisser Leistung, umstrukturierten Teams, neu geschriebener Software und Investitionen, die sich nicht mehr auszahlen.

156. Diese Einschränkungen als „sozial“ zu bezeichnen, macht sie nicht imaginär.

157. Sie als „pfadabhängig“ zu bezeichnen, macht sie nicht zum Schicksal.

158. Physikalische Grenzen, aktuelle Aufgabenanforderungen und gewöhnliche Kompromisse müssen ebenfalls von historischen Bindungen getrennt betrachtet werden.

159. Lange Sequenzen würden auch dann rechnerisch anspruchsvoll bleiben, wenn es Transformer nie gegeben hätte.

160. Genauigkeit und Effizienz würden bei manchen Entwürfen weiterhin im Widerspruch zueinander stehen, und spezialisierte Aufgaben würden nach wie vor spezialisierte Strukturen begünstigen.

161. Diese sind für sich genommen keine Produkte einer früheren Entscheidung.

162. Die Behauptung der Pfadabhängigkeit ist enger gefasst: Vergangene Erfolge haben ein Umfeld geschaffen, in dem eine Lösungsfamilie von kostengünstigeren Experimenten, klareren Vergleichen, besser kompatibler Hard- und Software sowie einem größeren Pool an praktischer Erfahrung profitiert.

163. Dieses Umfeld verändert den späteren Möglichkeitenraum, ohne ihn vollständig zu bestimmen.

164. Es kann sogar die Evolvierbarkeit innerhalb der etablierten Familie verbessern, indem es Forschern zuverlässige Komponenten zur Neukombination zur Verfügung stellt.

165. Was es jedoch verringern kann, ist die Evolvierbarkeit auf der Ebene, auf der diese Komponenten und Schnittstellen gemeinsam ersetzt werden müssten.

166. Ob dieser Kompromiss gut ist, lässt sich nicht allein anhand des Marktanteils entscheiden.

167. Es hängt vom durch Koordination geschaffenen Wert, der Qualität vernachlässigter Alternativen, den Kosten des Übergangs und den Folgen eines Verbleibs ab.

168. Ein Großteil dieser Belege ist gerade deshalb nicht verfügbar, weil Alternativen nicht gleichermaßen entwickelt wurden.

169. Die Unsicherheit wirkt in beide Richtungen.

170. Der „Transformator“ bleibt möglicherweise zentral, weil er außergewöhnlich leistungsfähig ist, weil sein Ökosystem außergewöhnlich stark ist oder weil sich diese beiden Vorteile nicht mehr klar voneinander trennen lassen.

171. Eine glaubwürdige Darstellung sollte nicht so tun, als wüsste sie, welcher Anteil auf welche Ursache entfällt.

172. Sie sollte die Rückkopplungsschleifen aufzeigen, die die Beantwortung dieser Frage erschweren.

173. Diese Schleifen können abgeschwächt oder umgelenkt werden.

174. Ein dramatischer Leistungsdurchbruch kann die Aufgabe von Komplementen rechtfertigen, wie der „Transformer“ selbst gezeigt hat.

175. Kompatibilitätsschichten können es einem Herausforderer ermöglichen, die Software und Hardware des Marktführers zu nutzen.

176. Öffentliche Benchmarks können ausgeweitet werden, und langfristige Forschung kann Alternativen erhalten, noch bevor ein unmittelbarer kommerzieller Nutzen erkennbar ist.

177. Neue Hardware kann zudem bisher umständliche Vorgänge praktikabel machen.

178. Keine dieser Veränderungen garantiert, dass ein vernachlässigtes Design besser ist.

179. Sie verhindern, dass die Unterlegenheit allein durch das Fehlen eines Ökosystems bestimmt wird, das nur durch die Einführung entstehen könnte.

180. Kehren wir nun zum Diagramm zurück.

181. Seine Rechtecke zeigen Berechnungen, nicht jedoch die ausgebildeten Ingenieure, den Compiler-Code, die Chip-Versorgung, die Datensätze, die Investitionsbudgets oder die Auswertungsroutinen, die diesen Berechnungen ihre praktische Bedeutung verleihen.

182. Die sichtbare Architektur ist nur die oberste Schicht des Weges.

183. Darunter liegen angesammelte Entscheidungen, die es einfacher machten, eine Richtung weiterzuverfolgen, und den Einstieg in andere Richtungen verteuerten.

184. Acht Forscher machten sich daran, die maschinelle Übersetzung zu verbessern, nicht um einen endgültigen Entwurf für intelligente Maschinen zu wählen.

185. Ihre Arbeit bot einen Einstieg, und überzeugende Ergebnisse lockten die Menschen dorthin.

186. Jede Bibliothek, jeder Kurs, jeder Checkpoint, jeder optimierte Kernel und jede kompatible Maschine erweiterte daraufhin die Räume jenseits dieses Einstiegs.

187. Gleichzeitig wurden die Zugänge an anderen Stellen schwerer zu erkennen und kostspieliger zu errichten.

188. So kann eine Architektur weit weniger als alles bestimmen und dennoch fast alles, was danach kommt, neu gestalten.