Tehno
StoryEditor

Treniranje umjetne inteligencije i potrošnja energije: Problem u nastajanju ili ‘hype‘?

29. Ožujak 2024.
Siniša Slijepčević i Davor Aničić

Opće je poznato da treniranje umjetne inteligencije troši puno energije. Famozni chatbotovi i razni drugi AI modeli koji broje stotine milijuna tjednih korisnika diljem svijeta i pomažu mnogima pri izvršavanju raznih zadataka, stvaranju realističnih vizuala, grafika za društvene mreže ili videozapisa - svi oni stvaraju pozamašne račune za poslužitelje mjerene u megavatima po satu.

A čini se da nitko, pa čak ni tvrtke koje stoje iza tehnologije, ne može točno reći kolika je cijena te energije. Ipak, sigurno je da potrošnja struje u kompanijama za AI eksponencijalno raste, a neki smatraju da to vodi prema novoj energetskoj krizi u SAD-u. 

Da budemo precizni, SAD će u idućih pet godina trebati otprilike 34 nove nuklearne elektrane ili dodatnih 38 gigavata struje kako bi podmirio potražnju podatkovnih centara, tvornica i električnih vozila, procijenila je savjetodavna tvrtka Grid Strategies u izvješću podnesenom regulatoru za energiju.

Kompanijama koje koriste umjetnu inteligenciju treba puno struje za treniranje jezičnih modela, proizvodnju čipova i ostalog hardvera. Značajan je izvor potražnje i umjetna inteligencija ugrađena u internetske tražilice budući da troši najmanje deset puta više od običnih tražilica.

U 2022. godini podatkovni centri, kriptovalute i umjetna inteligencija potrošili su, prema nedavnoj analizi Međunarodne agencije za energiju (IEA) oko dva posto struje na globalnoj razini, a taj će udio u budućnosti porasti. Ipak, SAD i njegovi azijski konkurenti prilično su liberalni kada je u pitanju razvoj umjetne inteligencije i vjerojatno će dati sve od sebe da se njen razvoj ubrza. A dok se titani utrkuju, Europska unija, kao i uvijek, oprezno - regulira. 

- Oprezniji stav Europe ima svoje prednosti i mane. S jedne strane može nam osigurati da izbjegnemo neke od mogućih negativnih utjecaja na društvo koje brza primjena svake, pa i ove tehnologije može izazvati, ali naravno, u današnjem digitalnom globaliziranom svijetu bez granica izuzetno je teško spriječiti ulazak te iste tehnologije u vaše društvo koja je razvijena negdje drugdje.

S druge strane, ako regulacija postane previše ograničavajuća i birokratizirana te nedovoljno fleksibilna, može ozbiljno usporiti razvoj tehnologije unutar EU i odnosu na SAD jer je ideja da će regulatorni sustav, kojem ispaljivanje regulatorne strelice traje godinama, u krdu AI modela koji brzo trče preko polja, pogoditi baš pravu metu AI modela koji je visokorizičan, prilično je optimistična i ne baš realna. Bez obzira na to, smatram da je regulacija potrebna, a da nisam jedini koji tako misli, govori i i moja nedavna anketa na LinkedInu gdje je slično mislilo još  57 posto ljudi - za Lider je komentirao Davor Aničić, direktor domaće tehnološke tvrtke Velebit.AI koja se bavi umjetnom inteligencijom. 

Trošak energije nije problem? 

Predviđanje da je energetska potrošnja ključno ograničenje za daljnji razvoj vrlo je špekulativno, smatra Aničić, jer istovremeno postoje snažni trendovi optimiziranja arhitekture modela i metode njihova treniranja kao i sve moćnijih i učinkovitijih GPU procesora koji djeluju u suprotnom smjeru. 

Također, modeli imaju mogućnost međusobne nadogradnje i kombiniranja te nije izvjesno da će u budućnosti najbolji modeli biti oni koji se treniraju od početka (što traži najveću potrošnju energije). Na kraju, jednom istrenirani modeli, pri upotrebi troše nekoliko redova veličine manje energije te je pitanje hoće li, čak i uz vrlo široku upotrebu, kroz kratko vrijeme potrošnja energije toliko značajno narasti. 

- Ne vjerujem da je trošak energije problem. Jezični modeli zaista dramatično rastu zadnjih godina po kompleksnosti i trošku energije, no taj trend ne treba ekstrapolirati, iz više razloga. Prvo, trening modela se radi relativno rijetko. Očekujem da će tržištem dominirati nekoliko velikih ‘user ready‘ već istreniranih modela, koji će biti optimizirani da se mogu pokretati i lokalno, npr. na mobitelima, uz vrlo mali trošak energije.

Drugo, trend u industriji je i optimizacija samog kreiranja i treniranja modela, koji za istu kvalitetu outputa zahtijevaju manje energije. Dramatičan primjer su algoritmi za igranje šaha, koji su danas već toliko optimizirani da je i za dotreniranje i za pokretanje potrebno vrlo malo energije. Evolucija tih algoritama je bila takva da se ‘brute force‘ neuronska mreža koja je zahtijevala puno energije i parametara postupno zamjenjivala s ekspertnom algoritamskom strukturom koja je bila optimizirana za dani problem. Očekujem da će se to dogoditi i s jezičnim modelima - kazao je Siniša Slijepčević, suosnivač i direktor hrvatskog AI scaleupa Cantab PI te redoviti profesor na zagrebačkom PMF-u.

Dodao je da sam razvoj ‘hardvera‘ poput specijaliziranih čipova za trening i pokretanje AI modela stalno optimizira trošak energija i kako smatra da će se taj trend nastaviti. Energetska i algoritamska optimizacija AI modela je nužnost da bi bili upotrebljivi, kaže Slijepčević, zbog čega i smatra da je svaki razgovor o umjetnoj inteligenciji i energetskoj održivosti bez temelja.

- Održivost razvoja je svakako važna tema, i sam razvoj umjetne inteligencije i njene primjene u mnogobrojnim industrijama, proizvodnji i potrošnji energije, transportu i skoro svim sferama društva, može, ukoliko ga na pravi način koristimo, dovesti do mnogo održivijih društava i cjelokupne civilizacije - zaključuje Aničić. 

21. studeni 2024 20:32