4.2 – A hardver mint sors – Hardware als Schicksal

1. Azok a processzorok, amelyek a modern mesterséges intelligencia számára elengedhetetlenné váltak, először azzal értek el tömegpiaci sikert, hogy gyorsabb árnyékokat, simább vizet és meggyőzőbb robbanásokat ábrázoltak.

2. Az 1990-es évek végén a grafikus cégek egy szűk, de jövedelmező probléma megoldásáért versengtek: hogyan lehet a képernyőt színes háromszögekkel olyan gyorsan beborítani, hogy fenntartható legyen a háromdimenziós világ illúziója.

3. Egy fal árnyékolása vagy egy folyosó ködösítése hasonló számítások ismétlését igényelte rengeteg pixel és csúcs esetében.

4. Ez a terhelés kedvezett a párhuzamosságnak, ami azt jelenti, hogy sok hasonló számtani műveletet végeznek egyszerre.

5. A központi feldolgozóegységek is tartalmaznak párhuzamos mechanizmusokat, és a grafikus processzorok soha nem voltak csupán azonos számológépek tömegei.

6. A kontraszt inkább a hangsúlyban, mint a jellegben nyilvánul meg.

7. A központi processzort úgy tervezték, hogy kis késleltetéssel sokféle feladatot hajtson végre, beleértve azokat a bonyolult műveletsorozatokat is, amelyekben az egyes lépések az előzőtől függenek.

8. A grafikus processzor a szilíciumának nagyobb részét annak szenteli, hogy egyszerre sok adatot dolgozzon fel.

9. A korai grafikus chipek még nem tartalmazták a későbbi eszközökben megtalálható több ezer általános célú aritmetikai egységet, de a szélesebb párhuzamos gépek felé vezető kereskedelmi út már megkezdődött.

10. Ezen út során eredetileg semmi sem követelte meg a gépektől, hogy nyelvet tanuljanak, tárgyakat ismerjenek fel vagy képeket generáljanak.

11. Ez a képernyő geometriájából, a nagy szórakoztatóipari piac gazdasági szempontjaiból, valamint a fogyasztók hajlandóságából fakadt, hogy többet fizessenek a másodpercenkénti képkockák számáért.

12. Két évtizeddel később e processzorok leszármazottai elfoglalták a tudományos számítások és a gépi tanulás céljára épített adatközpontokat.

13. Ez sem botrány, sem puszta véletlen volt.

14. Ez történik, amikor egy kutatási terület rájön, hogy egy másik iparág már finanszírozta a számára szükséges eszköz nagy részét.

15. Az összefüggés egyértelművé válik, ha megnézzük, mit csinálnak sok neurális hálózat tanulás közben.

16. Képzésük során ismétlődően szorozzák össze a számtömböket, összeadják az eredményeket, mérik a hibákat, és milliókat vagy milliárdokat számláló numerikus paramétereket állítanak be.

17. A matematika bonyolultabb, mint amit ez a rövid leírás sugall, mert a modellek különböző műveleteket tartalmaznak, az adatoknak át kell haladniuk a memórián, és a későbbi lépések a korábbi eredményektől függenek.

18. A munka nagy része azonban továbbra is számos hasonló, párhuzamosan futó számításra osztható.

19. Egy olyan processzor, amelyet úgy terveztek, hogy sok aritmetikai egységet folyamatosan foglaljon le, ezért előnyt élvez a munkaterhelés ezen részeinél.

20. Ez az előny nem automatikus, mert a számításokat meg kell szervezni, az adatoknak időben be kell érkezniük, és a programnak elegendő párhuzamos feladatot kell biztosítania.

21. A hardvernek szoftverre van szüksége ahhoz, hogy elméleti sebessége hasznos legyen.

22. A grafikus processzorokon történő általános célú számítások korai korszakában a kutatók gyakran grafikus programozási interfészeken keresztül fejezték ki a nem grafikus problémákat.

23. Nem azt tették, mintha minden egyenlet egy kép lenne, de a számításokat olyan formába kellett átalakítaniuk, amelyet a grafikus feldolgozási folyamat elfogadni tudott.

24. Ez az átalakítás szokatlan szakértelmet igényelt, és korlátozta, hogy mely kutatók tudták kihasználni a chipeket.

25. Az Nvidia 2006-ban kiadott CUDA-ja programozási modellt és C-alapú szoftverkörnyezetet biztosított a kompatibilis grafikus processzorok közvetlenebb használatához.

26. Más programozási rendszerek és gyártók is hozzájárultak az általános célú GPU-számításhoz, de a CUDA különösen jelentős híddá vált a hardver és a kutatás között.

27. Ez a híd azért volt fontos, mert nem csupán a végrehajtási időt csökkentette.

28. Csökkentette a párhuzamos programok írásához, hibakereséséhez, tanításához és újrafelhasználásához szükséges időt is.

29. A könyvtárak ezután csomagolták a bonyolult műveleteket, így a későbbi kutatóknak nem kellett ugyanolyan mélységben elsajátítaniuk a hardvert.

30. Gyűltek a dokumentációk, terjedtek a példák, és a hallgatók olyan készségeket sajátítottak el, amelyeket a munkaadók is elismertek.

31. Egy chip egy ökoszisztémává vált.

32. Az ökoszisztéma nem oldotta meg a gépi tanulás minden szűk keresztmetszetét, és nem tette hatékonnyá minden neurális hálózat-tervezést.

33. Egy bizonyos számítási kísérletekből álló családot olcsóbbá, gyorsabbá és könnyebben megismételhetővé tett.

34. Ez a változás megváltoztatta, hogy mely ötletek tudtak meggyőző bizonyítékot szolgáltatni a kutatási költségvetés keretein belül.

35. A hatás 2012-ben egy híres képfelismerési eredményben vált láthatóvá.

36. Az ImageNet versenyben a rendszereknek ezer kategória közé kellett besorolniuk a fényképeket.

37. Alex Krizhevsky, Ilya Sutskever és Geoffrey Hinton egy mély konvolúciós hálózatot neveztek be, amely jelentősen csökkentette a verseny első öt helyezettjének osztályozási hibáját.

38. A közzétett rendszerüket két fogyasztói grafikus kártya segítségével öt-hat napon át körülbelül 1,2 millió képen edzették.

39. A hardver önmagában nem hozta létre az eredményt.

40. A csapat egy nagy, címkézett adathalmazt, egy hatékony modellt, gondos edzésbeli döntéseket és a két eszköz memóriakapacitásához igazított kódot kombinált.

41. Az eredmény sem egyetlen év alatt kitalált matematikai ötletekből fakadt.

42. A konvolúciós hálózatoknak, a többrétegű neurális modelleknek és a gradiensalapú tanulásnak hosszú kutatási története volt, és a gyakorlati rendszerek már 2012 előtt is sikereket értek el.

43. A grafikus processzorok azt változtatták meg, hogy milyen méretben lehetett ezt a kombinációt egy átlagos kutatási környezetben tesztelni.

44. Egy olyan megközelítés, amely korábban költségesnek és korlátozottnak tűnt, most már elég feltűnő eredményt tudott produkálni ahhoz, hogy a figyelmet és az erőforrásokat átirányítsa.

45. Ezt a változást nem szabad úgy leegyszerűsíteni, hogy a neurális hálózatokat egyszerűen elhagyták, amíg a játékosok meg nem mentették őket.

46. A kutatási tevékenység országonként, intézményenként és alkalmazásonként egyenetlenül emelkedett és csökkent, miközben az algoritmusok, az adatkészletek és a processzorok egyaránt folyamatosan fejlődtek.

47. A korábbi csalódások egy része valódi technikai korlátokat tükrözött, más része túlzott elvárásokat, míg egy része olyan kísérleteket, amelyek végrehajtása hasznos méretben túl drága volt.

48. Ezek az okok azért fontosak, mert különböző tanulságokat vonnak maguk után.

49. Egy cáfolt állítás nem állta ki a bizonyítási próbát, míg egy megfizethetetlen kísérlet talán soha nem is került ilyen próbára.

50. A tudományos emlékezet gyakran mindkét kimenetelt ugyanolyan csendes elhallgatással rögzíti a következő generációs cikkekben.

51. A videojáték-piac nem a legjobb intelligenciaelméletet választotta ki.

52. Olyan eszközt gyártott tömegesen, amely bizonyos gépi tanulási elméleteket szokatlanul jól tesztelhetővé tett.

53. Amint ezek az elméletek erős eredményeket hoztak, a gépi tanulás iránti kereslet viszont elkezdte átalakítani az eszközt.

54. Ez a folyamat egy példája annak, amit Sara Hooker számítógép-tudós „hardver-lottónak” nevezett.

55. A kifejezés nem azt jelenti, hogy a kutatási siker véletlenszerű lenne, vagy hogy a technikai érdemek irrelevánsak lennének.

56. Arra utal, hogy egy ötlet és a rendelkezésre álló hardver és szoftver között összhang alakul ki, amikor az ötletnek be kell bizonyítania magát.

57. Lehet, hogy egy megközelítés megalapozott, mégis kudarcot vall, mert a kísérletek végrehajtása megfizethetetlenül drága.

58. Egy másik viszont sikeres lehet, mert működése pontosan illeszkedik a már nagy léptékben gyártott berendezésekhez.

59. Ezzel még nem bizonyosodott be, hogy az első megközelítés alacsonyabb színvonalú lenne, és a második sem bizonyult ezzel optimálisnak.

60. A rendelkezésre álló alaptárgy megváltoztatta az összehasonlítás költségét.

61. A költség befolyásolja, hogy hány kísérletet lehet végrehajtani, milyen gyorsan javíthatók ki a hibák, és hány kutató vehet részt a munkában.

62. Ezáltal megváltozik annak a valószínűsége, hogy egy megközelítés annyira javuljon, hogy a következő összehasonlításban is győztesként kerüljön ki.

63. Itt válik egy történelmi körülmény puszta háttérből pályafüggőséggé.

64. A meglévő hardver csökkenti az egyik út költségeit, a siker vonzza az eszközöket és a tehetségeket, és ezek a kiegészítő tényezők ismét csökkentik a jövőbeli költségeket.

65. Az egyszeri előny önmegerősítő folyamatgá válik.

66. A számítástechnika története tartalmaz korábbi példákat az ötlet és fizikai hordozója közötti eltérésekre, bár egyik sem tökéletes mása a GPU történetének.

67. 1834-ben Charles Babbage megkezdte az Analytical Engine tervezését, egy programozható mechanikus számítógépet, amelynek külön memóriája volt a számok tárolására és külön számolóegysége a számítások elvégzésére.

68. Tervében szerepeltek lyukkártyás utasítások, ciklusok és feltételes elágazások – olyan jellemzők, amelyeket a mai olvasók felismerhetnek anélkül, hogy úgy tennének, mintha a gép egy viktoriánus laptop lett volna.

69. Az Analitikus Gépet soha nem fejezték be.

70. Kudarcát nem lehet egyszerűen a hibás logikára vagy a pontosságra képtelen műhelyekre fogni.

71. Korábbi Differencia-gép projektje már felemésztette a közpénzeket és vitával végződött, míg a kormány elutasította az újabb Analitikus Gép finanszírozását.

72. A viktoriánus gyártás lenyűgöző pontosságú munkát tudott előállítani, de több ezer mechanikus alkatrész megépítése és összehangolása a szükséges költségek és megbízhatóság mellett hatalmas rendszerbeli problémát jelentett.

73. Az elektronikus kapcsolók később egy másik fizikai alapon tették gyakorlatiasá az általános célú számításokat.

74. Ez a későbbi siker igazolta Babbage logikai tervének fontos jellemzőit anélkül, hogy bebizonyította volna, hogy az általa javasolt gépet a saját körülményei között gazdaságosan meg lehetett volna építeni.

75. Az eset megkülönbözteti a fizikai lehetőséget a történelmi megvalósíthatóságtól.

76. Előfordulhat, hogy egy gép elképzelhető, sőt mechanikailag is megvalósítható, miközben a korában megfizethető kereteken kívül marad.

77. Az 1980-as évek speciális mesterséges intelligencia-számítógépei másfajta óvatosságra intik.

78. A Lisp-gépek olyan hardvert és szoftvert ötvöztek, amelyeket az akkor a mesterséges intelligencia kutatásában széles körben használt programozási nyelvhez terveztek.

79. Olyan fejlesztői környezetet nyújtottak, amelyet a felhasználók nagyra értékelték, és amelyet az általános célú gépek kezdetben nehezen tudtak utánozni.

80. Kereskedelmi hanyatlásuknak több oka is volt, többek között a magas árak, a korlátozott piac, a mesterséges intelligencia finanszírozásában bekövetkezett változások, a tömegtermék jellegű munkaállomások fejlődése, valamint a Lisp-megvalósítások átállása általánosabb hardverekre.

81. Túl egyszerű lenne azt állítani, hogy a speciális gépek egy tisztességes versenyben technikailag alulmaradtak.

82. A tömegtermék-rendszerek nagyobb gyártási volumenre és szélesebb szoftverpiacokra támaszkodhattak, míg a speciális gyártóknak kevesebb ügyféllel kellett fenntartaniuk egy teljes platformot.

83. A méretbeli különbség a verseny folyamata közben megváltoztatta a verseny feltételeit.

84. A tanulság nem az, hogy a speciális hardvernek feltétlenül veszítenie kell, hiszen a későbbi gyorsítók nyilvánvaló ellenpéldákat nyújtanak erre.

85. A tanulság az, hogy a gép és a feladat közötti jó illeszkedésnek ki kell állnia a környező ökoszisztéma gazdasági feltételeit.

86. A hardver először azt befolyásolja, hogy mely ötleteket lehet tesztelni, majd egyre mélyebbre hatol az ötletek megvalósulási formájába.

87. A kutatók határidők, költségvetések és publikálható eredmények iránti elvárások nyomása alatt dolgoznak.

88. Természetesen azokat a kísérleteket részesítik előnyben, amelyek befejezhetők, amíg az eredmény még releváns.

89. Amikor egy számítás jóval olcsóbb, mint egy másik, a különbség nem csupán a válasz megszerzését gyorsítja fel.

90. Megváltoztatja azt is, hogy mely kérdések tűnnek elég megvalósíthatónak ahhoz, hogy feltegyük őket.

91. A sűrű mátrixműveletek alkalmasak a modern gyorsítókra, mert szabályos párhuzamos munkát tesznek lehetővé, és hatékonyan újrahasznosíthatják az adatokat.

92. A szabálytalan számítások, a gyakori elágazások és a szétszórt memóriához való hozzáférés miatt ugyanaz a hardver kihasználatlanul maradhat.

93. Ezek inkább tendenciák, mint tiltások, mivel a fordítók, a speciális kernelik és az újabb eszközök bizonyos szabálytalan feladatokat jól képesek kezelni.

94. Mindazonáltal egy olyan módszer, amely ellentétben áll a memóriarendszerrel, vagy tétlenül hagyja az aritmetikai egységeket, minden kísérletet költségbeli hátránnyal indít.

95. A pályázati javaslatok, a konferencia-határidők és a termékütemtervek ezt a műszaki hátrányt az ötletekre nehezedő szelekciós nyomássá alakítják.

96. Egy kutatócsoport egyszerűsítheti az algoritmust, példákat csoportosíthat, vagy olyan modellméreteket választhat, amelyek hatékony hardveres műveletekhez illeszkednek.

97. Az ilyen alkalmazkodások általában ésszerű válaszok a valós korlátokra.

98. Összességében ez azt jelenti, hogy a modellek magukon hordozzák azoknak a gépeknek a nyomait, amelyeken kifejlesztették őket.

99. Ez a kapcsolat hasonlít ahhoz a nyomhoz, amelyet a rendelkezésre álló kő hagy egy régi épületen, bár a szoftver könnyebben módosítható, mint a kőművesmunka, és a számítástechnikai hardvert szándékosan újratervezhetik.

100. Az analógia az öröklődést tárja fel, nem pedig a elkerülhetetlenséget.

101. A biológiai idegrendszerek élénken megmutatják a kontrasztot, de nem oldják meg a kérdést.

102. Az idegsejtek ritkán és események formájában kommunikálnak, míg a gépi tanulás nagy része sűrű numerikus tömbök köré szerveződik, amelyeket szinkronizált kötegekben dolgoznak fel.

103. Az agy és a grafikus processzor anyagukban, felépítésükben, tanulási folyamatukban és funkciójukban különböznek egymástól, ezért az energiafogyasztásuk összehasonlítása önmagában nem tudja meghatározni, melyik a jobb.

104. Ennek ellenére ez az ellentét komoly kutatásokat ösztönzött a neuromorf processzorok terén, amelyek szorosabban integrálják a memóriát és a számításokat, és ritka eseményekre reagálnak.

105. A kutatási chipek bizonyítottan előnyöket nyújtanak bizonyos érzékelési, vezérlési, optimalizálási és impulzusos hálózati feladatoknál.

106. Még nem bizonyították, hogy az agy ihlette architektúra általánosan helyettesítheti a grafikus processzorokat vagy más gyorsítókat.

107. Az eredmények a feladattól, a modelltől, a környező szoftvertől, valamint attól függenek, hogy mit vesznek figyelembe az energia- és késleltetési számítások során.

108. Relatív éretlenségük is része az összehasonlításnak.

109. Egy új processzor indulásakor még nem állnak rendelkezésre évtizedek alatt felhalmozott könyvtárak, hibakereső eszközök, képzett mérnökök, gyártási tapasztalatok és kompatibilis adatközponti berendezések.

110. A gyenge kezdeti eredmények rossz architektúrát, éretlen ökoszisztémát vagy mindkettőt jelezhetnek.

111. Ezen magyarázatok megkülönböztetéséhez olyan ökoszisztémába kell befektetni, amelynek értéke továbbra is bizonytalan.

112. Ez a hardveres lottó legnehezebb hurka.

113. Bizonyítékra van szükség ahhoz, hogy egy alternatíva vonzza a forrásokat, de forrásokra van szükség ahhoz, hogy az alternatíva megfelelő bizonyítékot tudjon előállítani.

114. A domain-specifikus gyorsítók is azt mutatják, hogy ez a kör megszakadhat.

115. A 2010-es évek közepén az adatközpontokban bevezetett tenzor-feldolgozó egység (TPU) dedikált mátrixszorzó hardvert használt a neurális hálózatok következtetésének költség- és energiahatékonyságának javítására.

116. Ez jelentős eltérést jelentett a kizárólagos központi és grafikus processzorokra való támaszkodástól.

117. Ugyanakkor ez nagyrészt olyan munkaterheléseket gyorsított fel, amelyek már meglévő neurális hálózati szoftverek és numerikus műveletek révén voltak kifejezve.

118. Az új ág megváltoztatta a hardveres útvonalat, miközben a felette lévő számítási útvonal nagy részét megörökölte.

119. Az útvonalváltozások gyakran inkább az újdonság és a kompatibilitás hibridjei, mintsem tiszta elszakadások.

120. Amint egy munkaterhelés kereskedelmi szempontból fontossá válik, a chiptervezők közvetlenül ahhoz igazítják az optimalizálást.

121. Alacsonyabb pontosságú aritmetikát, gyorsabb mátrixegységeket, nagyobb vagy másképp elrendezett memóriákat, valamint több processzor összekapcsolására szolgáló összeköttetéseket építenek be.

122. A szoftverfejlesztők ezután ezekhez a funkciókhoz igazítják a könyvtárakat.

123. A modellek tervezői észreveszik, hogy egyes műveletek olcsóbbá váltak, és többet használnak belőlük.

124. Az ügyfelek az előző chiphez tervezett modellek alapján generálják a következő chip iránti keresletet.

125. A kör bezárult.

126. Minden egyes kör javíthatja a teljesítményt, csökkentheti a költségeket, és a korábban lehetetlen kísérleteket rutinszerűvé teheti.

127. Ezek valódi előnyök, nem pedig egy hiba tünetei.

128. Ugyanez a fejlődés emeli azoknak a megközelítéseknek a relatív árát, amelyek nem tudják használni az optimalizált veremrendszert.

129. Egy alternatívának nem kell romlania ahhoz, hogy lemaradjon.

130. Változatlan maradhat, miközben a processzorok, a könyvtárak, a teljesítménymérő tesztek és a szakértelem a rivális körül fejlődnek.

131. Több ciklus után a keletkező teljesítménybeli különbség úgy tűnik, mintha az ötlet felett ítéletet mondana, még akkor is, ha részben a különböző mértékű beruházásokat tükrözi.

132. Ez nem jelenti azt, hogy minden elhanyagolt ötlet megérdemli az újjáéledést.

133. A legtöbb kipróbálatlan architektúra lehet, hogy kivitelezhetetlen, hatástalan vagy felesleges.

134. A nehézség abban rejlik, hogy az elhanyagolás alig ad támpontot arra nézve, mely kudarcok alapvetőek, és melyek csak átmeneti jellegűek.

135. A fejlett chipek fizikai gyártása még tovább erősíti ezt az aszimmetriát.

136. A legkorszerűbb gyártóüzemek több milliárd dollárban mérhető beruházásokat, évekig tartó tervezést, valamint a litográfiai berendezések, optikai eszközök, vegyszerek, anyagok, csomagolás és energiaellátás szigorúan összehangolt beszerzését igénylik.

137. E lánc számos láncszeme olyan ismereteket és létesítményeket igényel, amelyeket egy új belépő nem tud gyorsan lemásolni.

138. A processzorarchitektúra tehát már beágyazódik a gyárakba, a tervezőeszközökbe, a beszállítói szerződésekbe, a tesztelési eljárásokba és az adatközpontokba, mielőtt egy kutató egy sor modellkódot is leírna.

139. Az ezekbe a kiegészítő elemekbe már befektetett tőke inkább a meglévő útvonal fejlesztésének, mint annak felváltásának indokává válik.

140. Ezek elsüllyedt költségek, de a erősebb kötőerő gyakran a jövőbeni kilátásokban rejlik.

141. Az átálláshoz új szoftverre, átképzett személyzetre, átalakított létesítményekre, bizonytalan ellátásra, valamint egy olyan időszakra lenne szükség, amelyben az új rendszer teljesítménye rosszabb lehet.

142. A várható jövőbeli átállási költségek – nem pedig a múltbeli kiadások iránti tisztelet – szűkítik a gyakorlati választási lehetőségeket.

143. Az ellátás koncentrációja a hatékonyság mellett sebezhetőséget is jelent.

144. A specializáció lehetővé teszi a vállalatok számára rendkívül nehéz gyártási problémák megoldását, de egy szűk keresztmetszetnél bekövetkező zavar késleltetheti minden olyan, az ellátás rendelkezésre állását feltételező, utólagos tervet.

145. A hardver tehát mind a bőség, mind a szűkösség révén alakítja a kutatást.

146. A tömeggyártott gyorsítók hatalmas kísérleteket tesznek lehetővé, míg a legnagyobb klaszterekhez való hozzáférés továbbra is egyenlőtlen.

147. A számítási szakadékra vonatkozó empirikus tanulmányok jelentős különbséget tártak fel a vezető ipari laboratóriumok által használt erőforrások és a számos akadémiai csapat rendelkezésére álló erőforrások között.

148. Ez a különbség különösen fontos azoknál a munkáknál, amelyek központi állítása nagyon nagy modellek betanításán vagy ismételt értékelésén múlik.

149. Azok a kutatók, akik nem rendelkeznek hasonló erőforrásokkal, továbbra is hozzájárulhatnak algoritmusokkal, elméletekkel, ellenőrzésekkel, kisebb léptékű kísérletekkel, adatfeldolgozással és kritikai elemzésekkel.

150. Az előre betanított modellekhez való hozzáférés csökkentheti bizonyos akadályokat, ugyanakkor függőséget teremt olyan rendszerektől, amelyek felépítését kívülállók nem tudják megfigyelni vagy reprodukálni.

151. Az a eredmény, amelynek újbóli futtatása túl költséges, nem feltétlenül hamis.

152. Nehezebb függetlenül megvizsgálni, variálni és cáfolni, ami gyengíti a tudomány önkorrekciójának egyik útját.

153. A megosztott számítástechnikai eszközök, a strukturált hozzáférési programok, a nyílt eredmények és a hatékonyabb kísérleti tervek ellensúlyt jelenthetnek.

154. Egyik sem szünteti meg az alapvető költségeket, és mindegyik valamilyen szabály szerint osztja el a szűkös hozzáférést.

155. A csillagászat hasznos összehasonlítási alapot nyújt, mivel a kutatók már régóta olyan intézményeket építenek fel olyan műszerek köré, amelyeket egyetlen laboratórium sem birtokolhat egyedül.

156. Az összehasonlításnak vannak korlátai, mivel egy távcső a közös égboltot figyeli, míg egy gépi tanulási klaszter tulajdonosi adatoktól, kódoktól és modellektől függhet.

157. Mindazonáltal mindkét terület azt mutatja, hogy a szűkös műszerek nem írnak elő egyetlen társadalmi megoldást az ellenőrzésre.

158. Az intézmények kiszélesíthetik vagy szűkíthetik a hozzáférést ugyanahhoz a fizikai berendezéshez.

159. Az idő egy utolsó aszimmetriát teremt a rendszer rétegei között.

160. Egy cikk gyorsan átdolgozható, a szoftver lassabban, a processzor tervezése még lassabban, míg egy gyártóüzem vagy az áramellátás kialakítása ismét hosszabb időt vesz igénybe.

161. A legfontosabb anyagválasztások gyakran a legkevésbé visszafordíthatók egy kutatási generáción belül.

162. Egy chip-fejlesztési tervben hozott döntés évekig felfelé terjedhet a könyvtárakba, a modellarchitektúrákba, a munkaerő-felvételbe és a publikált összehasonlításokba.

163. Mire a fizikai réteg kicserélhetővé válna, sok gyorsabban változó réteg már megtanult rá támaszkodni.

164. Ez a „lock-in”, de nem teljes mozdulatlanság.

165. Új gyorsítók léphetnek be kompatibilitási rétegek, speciális piaci rések, állami beruházások vagy egy nem kapcsolódó piac igényei révén.

166. A szoftver el tudja rejteni bizonyos hardverbeli különbségeket, a hatékony algoritmusok pedig korábban drága számításokat megfizethetővé tehetnek.

167. Az energiaárak, a kínálat, a szabályozás vagy az alkalmazások iránti keresletben bekövetkező változások szintén befolyásolhatják, hogy mely jellemzők válnak fontossá.

168. A címben szereplő „sors” szó ezért szándékos túlzás.

169. A hardver nem határozza meg egy elmélet igazságát, nem zár ki minden alternatívát, és nem garantálja, hogy a mai domináns kialakítás továbbra is domináns marad.

170. Meghatározza az árakat, a késleltetéseket, a teljesítményhatárokat és a kompatibilitási követelményeket, amelyek az ismételt döntések során halmozódnak fel.

171. Egyszer alkalmazva egy ilyen korlát csupán egy feltétel.

172. A chipek, a szoftverek, a szakértelem, a beruházások és az elvárások közötti visszacsatoláson keresztül alkalmazva azonban átformálja a terület elérhető lehetőségeit.

173. A kialakult út egyszerre lehet rendkívül termékeny és korlátozó is.

174. Termelékenysége magyarázza, miért mélyítik tovább az emberek, és ez a mélyítés magyarázza, miért válik drágává az elhagyása.

175. A lehetséges gépek között vannak olyan architektúrák, amelyeknek nincs hasznos célja.

176. Mások pedig olyan kérdésekre adhatnak választ, amelyeket a mai berendezésekkel nehézkes megfogalmazni, nemhogy tesztelni.

177. Az érvelés önmagában nem képes megbízhatóan elkülöníteni a két csoportot, mert a döntő bizonyítékhoz működő gépekre és kiforrott eszközökre van szükség.

178. Az utolsó jelentős áttörés egy másik célt követő iparágból származott, amikor a virtuális világokhoz épített grafikus hardverek a gépi tanulás eszközévé váltak.

179. A következő áttörés hasonlóképpen szándékos kutatás, egy szomszédos piac vagy egy olyan probléma révén érkezhet, amely egy eddig elhanyagolt tulajdonságot értékessé tesz.

180. A régi képernyőn látható robbanások nem határozták meg a célállomást, de segítettek finanszírozni azt az utat, amelyen ma a mesterséges intelligencia nagy része halad.

1. Die Prozessoren, die für die moderne künstliche Intelligenz unverzichtbar wurden, eroberten den Massenmarkt zunächst dadurch, dass sie schnellere Schatten, glatteres Wasser und überzeugendere Explosionen darstellten.

2. Ende der 1990er Jahre konkurrierten Grafikunternehmen um eine eng gefasste, aber lukrative Herausforderung: Wie lässt sich ein Bildschirm schnell genug mit farbigen Dreiecken füllen, um die Illusion einer dreidimensionalen Welt aufrechtzuerhalten?

3. Das Schattieren einer Wand oder das Einblenden von Nebel in einem Korridor erforderte ähnliche Berechnungen, die über eine große Anzahl von Pixeln und Eckpunkten wiederholt werden mussten.

4. Diese Arbeitslast begünstigte Parallelität, d. h. die gleichzeitige Ausführung vieler vergleichbarer Rechenoperationen.

5. Auch Zentralprozessoren enthalten parallele Strukturen, und Grafikprozessoren waren nie bloß eine Ansammlung identischer Rechner.

6. Der Unterschied liegt eher in der Gewichtung als in der Art.

7. Ein Zentralprozessor ist darauf ausgelegt, eine Vielzahl von Aufgaben mit geringer Verzögerung auszuführen, einschließlich komplizierter Abläufe, bei denen jeder Schritt vom vorherigen abhängen kann.

8. Ein Grafikprozessor widmet einen größeren Teil seiner Chipfläche dem Durchsatz vieler Datenelemente gleichzeitig.

9. Frühe Grafikchips enthielten noch nicht die Tausenden von universellen Recheneinheiten, die in späteren Geräten zu finden waren, doch der kommerzielle Weg hin zu Maschinen mit größerer Parallelität hatte begonnen.

10. Nichts an diesem Weg erforderte ursprünglich, dass Maschinen Sprachen lernen, Objekte erkennen oder Bilder erzeugen mussten.

11. Er ergab sich aus der Geometrie eines Bildschirms, der Wirtschaftlichkeit eines großen Unterhaltungsmarktes und der Bereitschaft der Kunden, für mehr Bilder pro Sekunde zu zahlen.

12. Zwei Jahrzehnte später bevölkerten Nachfahren dieser Prozessoren Rechenzentren, die für wissenschaftliches Rechnen und maschinelles Lernen gebaut worden waren.

13. Das war weder ein Skandal noch ein reiner Zufall.

14. Es war das, was passiert, wenn ein Forschungsgebiet entdeckt, dass eine andere Branche bereits einen Großteil der benötigten Instrumente finanziert hat.

15. Der Zusammenhang wird deutlich, wenn man sich ansieht, was viele neuronale Netze während des Lernens tun.

16. Bei ihrem Training multiplizieren sie wiederholt Zahlenfelder, addieren die Ergebnisse, messen Fehler und passen Millionen oder Milliarden numerischer Parameter an.

17. Die Mathematik ist komplexer, als diese kurze Beschreibung vermuten lässt, da Modelle unterschiedliche Operationen enthalten, Daten durch den Speicher wandern müssen und spätere Schritte von früheren Ergebnissen abhängen.

18. Dennoch lassen sich große Teile der Arbeit nach wie vor in viele ähnliche Berechnungen unterteilen, die parallel ablaufen.

19. Ein Prozessor, der so konzipiert ist, dass viele Recheneinheiten ausgelastet sind, hat daher bei diesen Teilen der Arbeitslast einen Vorteil.

20. Dieser Vorteil ergibt sich nicht automatisch, da die Berechnungen organisiert werden müssen, Daten rechtzeitig eintreffen müssen und das Programm genügend parallele Arbeitsschritte bereitstellen muss.

21. Hardware benötigt Software, bevor ihre theoretische Geschwindigkeit von Nutzen ist.

22. In den Anfängen der Allzweck-Berechnungen auf Grafikprozessoren drückten Forscher nicht-grafische Probleme oft über grafische Programmierschnittstellen aus.

23. Sie taten nicht buchstäblich so, als sei jede Gleichung ein Bild, aber sie mussten Berechnungen in Formen übersetzen, die die Grafikpipeline verarbeiten konnte.

24. Diese Übersetzung erforderte außergewöhnliches Fachwissen und schränkte den Kreis der Forscher ein, die die Chips nutzen konnten.

25. Die Veröffentlichung von CUDA durch Nvidia im Jahr 2006 lieferte ein Programmiermodell und eine C-basierte Softwareumgebung, um kompatible Grafikprozessoren direkter nutzen zu können.

26. Auch andere Programmiersysteme und Anbieter trugen zum universellen GPU-Computing bei, doch CUDA wurde zu einer besonders bedeutsamen Brücke zwischen Hardware und Forschung.

27. Diese Brücke war wichtig, weil sie nicht nur die Ausführungszeit verkürzte.

28. Sie reduzierte auch den Zeitaufwand für das Schreiben, Debuggen, Vermitteln und Wiederverwenden paralleler Programme.

29. Bibliotheken fassten daraufhin komplexe Operationen zusammen, sodass nachfolgende Forscher die Hardware nicht mehr in gleicher Tiefe beherrschen mussten.

30. Es sammelte sich Dokumentation an, Beispiele wurden verbreitet, und Studierende erwarben Fähigkeiten, die Arbeitgeber anerkennen konnten.

31. Ein Chip entwickelte sich zu einem Ökosystem.

32. Das Ökosystem beseitigte nicht jeden Engpass im maschinellen Lernen, und es machte nicht jedes Design neuronaler Netze effizient.

33. Es machte eine bestimmte Familie von Rechenexperimenten kostengünstiger, schneller und leichter wiederholbar.

34. Diese Veränderung beeinflusste, welche Ideen innerhalb eines Forschungsbudgets überzeugende Beweise liefern konnten.

35. Der Effekt zeigte sich 2012 in einem berühmten Ergebnis der Bilderkennung.

36. Beim ImageNet-Wettbewerb mussten Systeme Fotos in tausend Kategorien einordnen.

37. Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton reichten ein tiefes Faltungsnetzwerk ein, das den Klassifizierungsfehler der fünf besten Teilnehmer des Wettbewerbs drastisch reduzierte.

38. Ihr veröffentlichtes System wurde fünf bis sechs Tage lang mit zwei handelsüblichen Grafikkarten auf etwa 1,2 Millionen Bildern trainiert.

39. Die Hardware allein hat das Ergebnis nicht hervorgebracht.

40. Das Team kombinierte einen großen, beschrifteten Datensatz, ein effektives Modell, sorgfältige Entscheidungen beim Training und Code, der auf die Speichergrenzen der beiden Geräte zugeschnitten war.

41. Das Ergebnis entsprang auch nicht mathematischen Ideen, die innerhalb eines einzigen Jahres entwickelt worden waren.

42. Faltungsnetzwerke, mehrschichtige neuronale Modelle und gradientbasiertes Lernen blickten auf eine lange Forschungsgeschichte zurück, und praktische Systeme hatten bereits vor 2012 Erfolge erzielt.

43. Was die Grafikprozessoren veränderten, war der Umfang, in dem diese Kombination in einem gewöhnlichen Forschungsumfeld getestet werden konnte.

44. Ein Ansatz, der zuvor kostspielig und begrenzt erschienen war, konnte nun ein Ergebnis liefern, das auffällig genug war, um Aufmerksamkeit und Ressourcen neu auszurichten.

45. Diese Wende sollte nicht auf die Behauptung reduziert werden, dass neuronale Netze einfach aufgegeben worden waren, bis Gamer sie retteten.

46. Die Forschungsaktivitäten hatten in den verschiedenen Ländern, Institutionen und Anwendungsbereichen ungleichmäßig zugenommen und abgenommen, während sich Algorithmen, Datensätze und Prozessoren kontinuierlich weiterentwickelten.

47. Einige frühere Enttäuschungen spiegelten echte technische Grenzen wider, andere überhöhte Erwartungen und wieder andere Experimente, deren Durchführung in einem sinnvollen Umfang zu kostspielig war.

48. Diese Ursachen sind von Bedeutung, da sie unterschiedliche Lehren implizieren.

49. Eine widerlegte Behauptung hat einen Beweistest nicht bestanden, während ein unerschwingliches Experiment möglicherweise nie einem solchen unterzogen wurde.

50. Das wissenschaftliche Gedächtnis verzeichnet oft beide Ergebnisse mit derselben stillen Abwesenheit in der nächsten Generation von Veröffentlichungen.

51. Der Videospielmarkt hat nicht die beste Theorie der Intelligenz ausgewählt.

52. Er hat ein Werkzeug in Massenproduktion hergestellt, das bestimmte Theorien des maschinellen Lernens ungewöhnlich gut überprüfbar machte.

53. Sobald diese Theorien überzeugende Ergebnisse lieferten, begann die Nachfrage aus dem Bereich des maschinellen Lernens im Gegenzug, das Werkzeug neu zu gestalten.

54. Diese Abfolge ist ein Beispiel für das, was die Informatikerin Sara Hooker als „Hardware-Lotterie“ bezeichnet hat.

55. Der Begriff bedeutet nicht, dass Forschungserfolg zufällig ist oder dass technischer Wert irrelevant ist.

56. Er bezeichnet eine Übereinstimmung zwischen einer Idee und der Hardware und Software, die verfügbar ist, wenn sich diese Idee bewähren muss.

57. Ein Ansatz kann fundiert sein und dennoch scheitern, wenn seine Experimente unerschwinglich teuer sind.

58. Ein anderer kann Erfolg haben, weil sich seine Abläufe nahtlos auf bereits in großem Maßstab hergestellte Geräte übertragen lassen.

59. Der erste Ansatz hat sich dadurch nicht als minderwertig erwiesen, und der zweite hat sich dadurch nicht als optimal erwiesen.

60. Die verfügbare Hardware hat die Kosten des Vergleichs verändert.

61. Die Kosten beeinflussen, wie viele Versuche durchgeführt werden können, wie schnell Fehler korrigiert werden können und wie viele Forscher daran teilnehmen können.

62. Sie verändern daher die Wahrscheinlichkeit, dass sich ein Ansatz so weit verbessert, dass er auch den nächsten Vergleich gewinnt.

63. An dieser Stelle wird ein historischer Umstand nicht mehr nur zum Hintergrund, sondern zur Pfadabhängigkeit.

64. Vorhandene Hardware senkt die Kosten eines Weges, Erfolg zieht Werkzeuge und Talente an, und diese Ergänzungen senken wiederum die zukünftigen Kosten.

65. Ein einmaliger Vorteil wird zu einer sich selbst verstärkenden Abfolge.

66. Die Geschichte der Informatik enthält frühere Diskrepanzen zwischen einer Idee und ihrer physischen Grundlage, auch wenn keine davon eine perfekte Kopie der GPU-Geschichte ist.

67. Im Jahr 1834 begann Charles Babbage mit dem Entwurf der Analytical Engine, eines programmierbaren mechanischen Computers mit einem separaten Speicher für Zahlen und einer Recheneinheit.

68. Seine Pläne sahen Lochkartenbefehle, Schleifen und bedingte Verzweigungen vor – Merkmale, die heutige Leser erkennen können, ohne so tun zu müssen, als sei die Maschine ein viktorianischer Laptop gewesen.

69. Die Analytical Engine wurde nie fertiggestellt.

70. Ihr Scheitern lässt sich nicht einfach auf schlechte Logik oder auf Werkstätten zurückführen, die nicht in der Lage waren, präzise zu arbeiten.

71. Sein früheres Projekt, die „Difference Engine“, hatte bereits öffentliche Mittel verschlungen und war in einem Streit geendet, während die Regierung sich weigerte, die neuere „Analytical Engine“ zu finanzieren.

72. Die viktorianische Fertigungsindustrie war zwar in der Lage, beeindruckend präzise Arbeiten zu leisten, doch die Herstellung und Koordination Tausender mechanischer Teile zu den erforderlichen Kosten und mit der erforderlichen Zuverlässigkeit stellte ein gewaltiges Systemproblem dar.

73. Elektronische Schalter machten später die Allzweckberechnung auf einer anderen physikalischen Grundlage praktikabel.

74. Dieser spätere Erfolg bestätigte wichtige Merkmale von Babbages logischem Entwurf, ohne jedoch zu zeigen, dass seine vorgeschlagene Maschine unter den damaligen Umständen wirtschaftlich hätte gebaut werden können.

75. Der Fall unterscheidet zwischen physikalischer Möglichkeit und historischer Realisierbarkeit.

76. Eine Maschine mag denkbar und sogar mechanisch möglich sein, während sie dennoch außerhalb der finanziellen Reichweite ihrer Zeit bleibt.

77. Spezialisierte Computer für künstliche Intelligenz der 1980er Jahre geben Anlass zu einer anderen Warnung.

78. Lisp-Maschinen kombinierten Hardware und Software, die für die damals in der KI-Forschung weit verbreitete Programmiersprache entwickelt worden waren.

79. Sie boten Entwicklungsumgebungen, die von den Anwendern geschätzt wurden und mit denen generische Maschinen anfangs nur schwer mithalten konnten.

80. Ihr kommerzieller Niedergang hatte mehrere Ursachen, darunter hohe Preise, einen begrenzten Markt, Veränderungen bei der Finanzierung der KI-Forschung, immer leistungsfähigere Standard-Workstations sowie Lisp-Implementierungen, die auf allgemeinere Hardware migrierten.

81. Es wäre zu einfach zu sagen, dass spezialisierte Maschinen in einem fairen Wettbewerb technisch unterlegen waren.

82. Standardisierte Systeme profitierten von größeren Produktionsmengen und breiteren Softwaremärkten, während spezialisierte Anbieter eine ganze Plattform mit weniger Kunden aufrechterhalten mussten.

83. Die Größenordnung veränderte den Wettbewerb, während dieser noch im Gange war.

84. Die Lehre daraus ist nicht, dass spezialisierte Hardware verlieren muss, denn spätere Beschleuniger liefern offensichtliche Gegenbeispiele.

85. Die Lehre lautet, dass eine gute Übereinstimmung zwischen einer Maschine und einer Aufgabe den wirtschaftlichen Gegebenheiten des umgebenden Ökosystems standhalten muss.

86. Hardware beeinflusst zunächst, welche Ideen getestet werden können, und greift dann tiefer in die Form ein, die diese Ideen annehmen.

87. Forscher arbeiten unter Termindruck, mit begrenzten Budgets und der Erwartung, veröffentlichungsreife Ergebnisse zu liefern.

88. Sie bevorzugen natürlich Experimente, die abgeschlossen werden können, solange das Ergebnis noch von Bedeutung ist.

89. Wenn eine Berechnung weitaus kostengünstiger ist als eine andere, beschleunigt dieser Unterschied nicht nur die Ermittlung einer Antwort.

90. Er verändert auch, welche Fragen als realistisch genug erscheinen, um gestellt zu werden.

91. Operationen mit dichten Matrizen eignen sich für moderne Beschleuniger, da sie regelmäßige parallele Arbeit ermöglichen und Daten effizient wiederverwenden können.

92. Unregelmäßige Berechnungen, häufige Verzweigungen und verstreute Speicherzugriffe können dazu führen, dass dieselbe Hardware nicht voll ausgelastet wird.

93. Dabei handelt es sich eher um Tendenzen als um Verbote, da Compiler, spezialisierte Kernel und neuere Geräte manche unregelmäßigen Aufgaben gut bewältigen können.

94. Dennoch beginnt jede Methode, die dem Speichersystem zuwiderläuft oder Recheneinheiten ungenutzt lässt, jedes Experiment mit einem Kostenaufschlag.

95. Förderanträge, Konferenzfristen und Produktzeitpläne verwandeln diesen technischen Nachteil in einen Selektionsdruck auf Ideen.

96. Eine Forschungsgruppe kann einen Algorithmus vereinfachen, Beispiele bündeln oder Modelldimensionen wählen, die zu effizienten Hardwareoperationen passen.

97. Solche Anpassungen sind in der Regel sinnvolle Reaktionen auf reale Einschränkungen.

98. Insgesamt bedeuten sie, dass Modelle Spuren der Maschinen tragen, auf denen sie entwickelt wurden.

99. Diese Beziehung ähnelt den Spuren, die der verfügbare Stein an einem alten Gebäude hinterlässt, obwohl Software leichter überarbeitbar ist als Mauerwerk und Rechenhardware gezielt neu gestaltet werden kann.

100. Die Analogie offenbart eine Vererbung, keine Unausweichlichkeit.

101. Biologische Nervensysteme verdeutlichen den Kontrast anschaulich, klären ihn jedoch nicht endgültig.

102. Neuronen kommunizieren spärlich und ereignisbezogen, während ein Großteil des gängigen maschinellen Lernens auf dichten numerischen Arrays basiert, die in synchronisierten Stapeln verarbeitet werden.

103. Ein Gehirn und ein Grafikprozessor unterscheiden sich in Material, Architektur, Lernprozess und Funktion, sodass Energievergleiche zwischen ihnen allein keinen Sieger ermitteln können.

104. Dennoch hat der Kontrast ernsthafte Forschungsarbeiten an neuromorphen Prozessoren angeregt, die Speicher und Rechenleistung enger integrieren und auf vereinzelte Ereignisse reagieren.

105. Forschungs-Chips haben bei ausgewählten Aufgaben in den Bereichen Sensorik, Steuerung, Optimierung und Spiking-Netzwerke Vorteile gezeigt.

106. Es ist noch nicht erwiesen, dass eine vom Gehirn inspirierte Architektur ein allgemeiner Ersatz für Grafikprozessoren oder andere Beschleuniger ist.

107. Die Ergebnisse hängen von der Aufgabe, dem Modell, der umgebenden Software und davon ab, was in die Energie- und Latenzberechnung einfließt.

108. Auch ihre relative Unausgereiftheit ist Teil des Vergleichs.

109. Ein neuer Prozessor startet ohne jahrzehntelang aufgebaute Bibliotheken, Debugging-Tools, geschulte Ingenieure, Produktionserfahrung und kompatible Rechenzentrumsausrüstung.

110. Schwache erste Ergebnisse können auf eine mangelhafte Architektur, ein unausgereiftes Ökosystem oder beides hindeuten.

111. Um diese Erklärungen voneinander zu unterscheiden, sind Investitionen in genau jenes Ökosystem erforderlich, dessen Wert noch ungewiss ist.

112. Dies ist der schwierigste Kreislauf der Hardware-Lotterie.

113. Es bedarf Belege, bevor eine Alternative Ressourcen anzieht, aber es bedarf Ressourcen, bevor die Alternative stichhaltige Belege liefern kann.

114. Auch domänenspezifische Beschleuniger zeigen, dass sich dieser Kreislauf durchbrechen lässt.

115. Eine Tensor-Processing-Unit, die Mitte der 2010er Jahre in Rechenzentren eingesetzt wurde, nutzte spezielle Hardware für Matrixmultiplikationen, um die Kosten- und Energieeffizienz der Inferenz in neuronalen Netzen zu verbessern.

116. Dies war eine bedeutende Abkehr von der ausschließlichen Nutzung von Zentral- und Grafikprozessoren.

117. Dennoch beschleunigte sie vor allem Workloads, die bereits durch etablierte Software für neuronale Netze und numerische Operationen umgesetzt wurden.

118. Der neue Zweig veränderte den Hardwarepfad, übernahm dabei jedoch einen Großteil des darüber liegenden Rechenpfads.

119. Pfadänderungen sind oft eher eine Mischung aus Innovation und Kompatibilität als ein klarer Bruch.

120. Sobald eine Arbeitslast kommerziell an Bedeutung gewinnt, optimieren Chip-Designer direkt für diese.

121. Sie fügen Arithmetik mit geringerer Genauigkeit, schnellere Matrixeinheiten, größere oder anders angeordnete Speicher sowie Verbindungen zur Anbindung vieler Prozessoren hinzu.

122. Softwareentwickler passen dann die Bibliotheken an diese Funktionen an.

123. Modellentwickler stellen fest, dass bestimmte Operationen kostengünstiger geworden sind, und setzen diese verstärkt ein.

124. Kunden generieren die Nachfrage nach dem nächsten Chip auf der Grundlage von Modellen, die für den vorherigen Chip entwickelt wurden.

125. Der Kreislauf hat sich geschlossen.

126. Jeder Durchlauf kann die Leistung verbessern, Kosten senken und zuvor unmögliche Experimente zur Routine machen.

127. Das sind echte Vorteile und keine Symptome eines Fehlers.

128. Dieselbe Verbesserung erhöht den relativen Preis von Ansätzen, die den optimierten Stack nicht nutzen können.

129. Eine Alternative muss nicht schlechter werden, um ins Hintertreffen zu geraten.

130. Sie kann unverändert bleiben, während sich Prozessoren, Bibliotheken, Benchmarks und Fachwissen um ihren Konkurrenten herum weiterentwickeln.

131. Nach mehreren Zyklen wirkt die daraus resultierende Leistungslücke wie ein Urteil über die Idee, selbst wenn sie teilweise ungleiche Investitionen widerspiegelt.

132. Das bedeutet nicht, dass jede vernachlässigte Idee eine Wiederbelebung verdient.

133. Die meisten ungetesteten Architekturen sind möglicherweise unpraktisch, ineffizient oder unnötig.

134. Die Schwierigkeit besteht darin, dass Vernachlässigung kaum Aufschluss darüber gibt, welche Misserfolge grundlegender Natur und welche nur vorübergehend sind.

135. Die physische Herstellung fortschrittlicher Chips verstärkt diese Asymmetrie.

136. Modernste Fertigungsanlagen erfordern Investitionen in Höhe von vielen Milliarden Dollar, jahrelange Planung und eine eng abgestimmte Versorgung mit Lithografieausrüstung, Optik, Chemikalien, Materialien, Gehäusen und Strom.

137. Viele Glieder dieser Kette erfordern Wissen und Einrichtungen, die von einem neuen Marktteilnehmer nicht schnell nachgebildet werden können.

138. Eine Prozessorarchitektur ist daher bereits in Fabriken, Design-Tools, Lieferantenverträgen, Testverfahren und Rechenzentren verankert, bevor ein Forscher auch nur eine Zeile Modellcode schreibt.

139. Das bereits in diese Komplementärfaktoren investierte Kapital wird zu einem Grund, den etablierten Weg zu verbessern, anstatt ihn zu ersetzen.

140. Dabei handelt es sich um versunkene Kosten, doch die stärkere Bindungskraft ist oft zukunftsorientiert.

141. Ein Wechsel würde neue Software, umgeschultes Personal, umgerüstete Anlagen, unsichere Lieferungen und eine Phase erfordern, in der die Ersatzlösung möglicherweise schlechter abschneidet.

142. Die erwarteten zukünftigen Übergangskosten – und nicht die Ehrfurcht vor vergangenen Ausgaben – schränken die praktischen Wahlmöglichkeiten ein.

143. Die Konzentration des Angebots bringt neben Effizienz auch Anfälligkeit mit sich.

144. Spezialisierung ermöglicht es Unternehmen, außerordentlich schwierige Fertigungsprobleme zu lösen, doch eine Störung an einem knappen Glied kann jeden nachgelagerten Plan verzögern, der von dessen Verfügbarkeit ausgeht.

145. Hardware prägt somit die Forschung sowohl durch Überfluss als auch durch Knappheit.

146. Massenproduzierte Beschleuniger ermöglichen umfangreiche Experimente, während der Zugang zu den größten Clustern nach wie vor ungleich verteilt ist.

147. Empirische Studien zur „Compute Divide“ haben eine ausgeprägte Kluft zwischen den Ressourcen führender industrieller Labore und denen vieler akademischer Teams festgestellt.

148. Diese Kluft ist besonders relevant für Arbeiten, deren zentrale Aussage vom Training oder der wiederholten Bewertung sehr großer Modelle abhängt.

149. Forscher ohne vergleichbare Ressourcen können dennoch Algorithmen, Theorie, Audits, Experimente in kleinerem Maßstab, Datenarbeit und kritische Analysen beisteuern.

150. Der Zugang zu vortrainierten Modellen kann einige Hindernisse abbauen, schafft jedoch gleichzeitig eine Abhängigkeit von Systemen, deren Aufbau Außenstehende weder beobachten noch reproduzieren können.

151. Ein Ergebnis, dessen erneute Durchführung zu kostspielig ist, ist nicht automatisch falsch.

152. Es ist jedoch schwieriger, es unabhängig zu hinterfragen, zu variieren und zu widerlegen, was einen Weg schwächt, auf dem sich die Wissenschaft selbst korrigiert.

153. Gemeinsame Rechenanlagen, strukturierte Zugangsprogramme, offene Artefakte und effizientere Versuchsdesigns können Gegengewichte bilden.

154. Keines davon beseitigt die zugrunde liegenden Kosten, und jedes verteilt den knappen Zugang nach bestimmten Regeln.

155. Die Astronomie bietet einen nützlichen Vergleich, da Forscher seit langem Institutionen rund um Instrumente aufgebaut haben, die kein einzelnes Labor besitzen könnte.

156. Der Vergleich hat seine Grenzen, da ein Teleskop den gemeinsamen Himmel beobachtet, während ein Cluster für maschinelles Lernen möglicherweise von proprietären Daten, Codes und Modellen abhängt.

157. Dennoch zeigen beide Bereiche, dass knappe Instrumente nicht zwangsläufig eine einzige soziale Regelung zur Verifizierung vorschreiben.

158. Institutionen können den Zugang zu denselben physischen Maschinen erweitern oder einschränken.

159. Die Zeit schafft eine letzte Asymmetrie zwischen den Ebenen des Systems.

160. Ein Artikel lässt sich schnell überarbeiten, Software langsamer, ein Prozessordesign noch langsamer und eine Fertigungsanlage oder ein Stromanschluss wiederum in noch längerem Zeitrahmen.

161. Die materiellsten Entscheidungen sind innerhalb einer Forschungsgeneration oft am wenigsten rückgängig zu machen.

162. Eine Entscheidung in einer Chip-Roadmap kann sich über Jahre hinweg nach oben in Bibliotheken, Modellarchitekturen, Personalbeschaffung und veröffentlichte Vergleiche auswirken.

163. Bis die physikalische Schicht ersetzt werden könnte, haben sich viele sich schneller entwickelnde Schichten bereits darauf eingestellt.

164. Das ist eine Bindung, aber keine vollständige Unbeweglichkeit.

165. Neue Beschleuniger können über Kompatibilitätsschichten, spezialisierte Nischen, öffentliche Investitionen oder die Nachfrage aus einem nicht verwandten Markt Einzug halten.

166. Software kann einige Hardware-Unterschiede verbergen, und effiziente Algorithmen können ehemals kostspielige Rechenaufgaben erschwinglich machen.

167. Ein Schock bei den Energiepreisen, der Versorgung, der Regulierung oder der Anwendungsnachfrage kann ebenfalls verändern, welche Eigenschaften von Bedeutung sind.

168. Das Wort „Schicksal“ im Titel ist daher eine bewusste Übertreibung.

169. Hardware bestimmt nicht die Wahrheit einer Theorie, schließt keine Alternativen aus und garantiert auch nicht, dass das heute vorherrschende Design weiterhin vorherrschend bleibt.

170. Sie legt Preise, Verzögerungen, Leistungsgrenzen und Kompatibilitätsanforderungen fest, die sich im Laufe wiederholter Entscheidungen summieren.

171. Einmal angewendet, ist eine solche Einschränkung lediglich eine Bedingung.

172. Durch Rückkopplungen zwischen Chips, Software, Fähigkeiten, Investitionen und Erwartungen wirkt sie sich jedoch auf die erreichbaren Möglichkeiten des Fachgebiets aus.

173. Der etablierte Weg kann außerordentlich produktiv und zugleich einschränkend sein.

174. Seine Produktivität erklärt, warum die Menschen ihn weiter vertiefen, und diese Vertiefung erklärt, warum ein Ausstieg kostspielig wird.

175. Irgendwo unter den möglichen Maschinen gibt es Architekturen, die keinem nützlichen Zweck dienen würden.

176. Andere könnten Fragen beantworten, deren Formulierung mit den heutigen Geräten schon umständlich ist, geschweige denn deren Test.

177. Argumente allein können die beiden Gruppen nicht zuverlässig voneinander trennen, da die entscheidenden Beweise funktionierende Maschinen und ausgereifte Werkzeuge erfordern.

178. Der letzte große Durchbruch kam aus einer Branche, die ein anderes Ziel verfolgte, als Grafikhardware, die für virtuelle Welten entwickelt wurde, zu einem Instrument für maschinelles Lernen wurde.

179. Der nächste Durchbruch könnte ebenfalls durch gezielte Forschung, einen angrenzenden Markt oder ein Problem entstehen, das eine bisher vernachlässigte Eigenschaft wertvoll macht.

180. Die Explosionen auf dem alten Bildschirm bestimmten zwar nicht das Ziel, aber sie trugen dazu bei, den Weg zu ebnen, auf dem ein Großteil der künstlichen Intelligenz heute voranschreitet.