Tundub, et vaikselt hakkavad ilmuma esimesed märgid sellest, et tehisaru doteeritud kasutus on varsti lõppemas. Ilmselgelt on hetkel makstavad tasud tehisaru kasutamise eest liiga väikesed, ning tegeliku kulu maksavad kinni investorid. Aga järjest on lisandumas märke, et tehisaru kasutuse hinda korrigeeritakse, ning see muutub kallimaks. Esialgu väljendub see rohkem kasutuslimiitide piiramises, kuid ilmselt tulevikus ka reaalsetes kuutasudes või API hinnastuses. Kuigi sisend- ja väljundtekstiühiku hind on aastate jooksul absoluutarvudes kordades langenud, siis see ei kajastu kahjuks lõpphindades. Seda sellepärast, et keelemudelite konteksti suurused on kasvanud plahvatuslikult, mis omakorda võimaldab lugeda sisse ja tagastada palju suuremas koguses andmeid. Kui aga õnnestuks tehisaru sisendi ja väljundi suurusi vähendada, võiks saavutada ka reaalse rahalise kokkuhoiu.
Tehisaru väljundi vähendamine
Paljudel tehisaru agentidel on võimalik ise defineerida "oskusi". Avastasin hiljuti Claude oskuse "Koopainimene" (https://github.com/JuliusBrussee/caveman). Selle oskuse mõte on väga lihtne - kuna iga sõna maksab, siis Claude võiks vastata võimalikult lühidalt. Sisuliselt rääkida nagu koopainimene, kasutades võimalikult vähe sõnu ning keskenduda ainult olulisele. Lisaks rahalisele võidule on lühemaid vastuseid ka lihtsam lugeda ning aru saada. Ja kui uskuda Cornell ülikooli tehtud teadusuuringut "Brevity Constraints Reverse Performance Hierarchies in Language Models", siis parandavad lühidad vastused ka keelemudeli täpsust 26%.