Tehno
StoryEditor

Glavni ljudi napuštaju Altmanov Open AI zbog zabrinutosti za sigurnost

23. Svibanj 2024.
Sam Altman, Open AI

Prije par dana je Open AI objavio uzbudljive vijesti o svom novom proizvodu. Slavodobitno su objavili da njihov ChatGPT sada može razgovarati kao čovjek i da ima veseo i pomalo dopadljiv ženski glas. Točnije, zvučao je kao Scarlett Johansson zbog čega ih je glumica odmah tužila pa su ga brže bolje uklonili. No, iako novi ChatGPT govori, čini se da to nije slučaj sa zaposlenicima koji u zadnje vrijeme bez riječi napuštaju Altmanov Open AI.

Prvo je Open AI napustio suosnivač i glavni znanstvenik Ilya Sutskever, koji je vodio tim za super usklađivanje (super alignment team) a nakon njega je tvrtku napustio i suvoditelj istog tima Jan Leike.

No, to nije bio kraj jer je još jedan član tima napustio Open AI. Radi se o Gretchen Krueger koja je rekla da dijeli zabrinutost već spomenutih kolega. Dodala je da je potrebno učiniti više kako bi se poboljšali ‘procesi donošenja odluka; odgovornost; transparentnost; dokumentacija; provedba politike; pažnja s kojom koristimo vlastitu tehnologiju; i ublažavanje utjecaja na nejednakost, prava i okoliš.‘

Bez iznenađenja

Ostavke navodno nisu bile potpuno iznenađenje. Sutskever je bio uključen u pobunu u upravi koja je prošle godine dovela do Altmanova privremenog otkaza, prije nego što se izvršni direktor brzo vratio na svoje mjesto. Sutskever je javno požalio zbog svojih postupaka i podržao Altmanov povratak, ali je od tada uglavnom bio odsutan iz tvrtke, iako su ostali članovi OpenAI-jevih timova za politiku, usklađivanje i sigurnost otišli.

Ali ono što je doista potaknulo nagađanja je šutnja bivših zaposlenika. Sutskever je objavio prilično tipičnu poruku o ostavci, rekavši kako je ‘uvjeren da će OpenAI izgraditi generativnu umjetnu inteligenciju (AGI) koji je i siguran i koristan, te da je uzbuđen zbog onoga što slijedi.‘

Leike ... nije. Njegova poruka o ostavci bila je jednostavno ‘Dao sam ostavku‘. Nakon nekoliko dana gorljivih nagađanja, proširio je ovu temu, objasnivši da je zabrinut da se OpenAI udaljio od kulture usmjerene na sigurnost.

Odmah su se pojavila pitanja: Jesu li bili istjerani? Je li to odgođena posljedica Altmanova kratkog otkaza prošle jeseni? Daju li ostavke u znak prosvjeda protiv nekog tajnog i opasnog novog OpenAI projekta? Nagađanja su naišla na prazninu jer nitko tko je nekoć radio u OpenAI-u nije govorio.

Žestoki NDA

Ispostavilo se da za to postoji vrlo jasan razlog. Jedan insajder je rekao kako su ugovori toliko restriktivni i da sadrže odredbe o tajnosti i neomalovažavanje kojima podliježu bivši zaposlenici OpenAI-ja. Zabranjuje im se do kraja života kritiziranje bivšeg poslodavca, a čak i priznanje da NDA postoji je njegovo kršenje.

Ako zaposlenik koji odlazi odbije potpisati dokument ili ako ga prekrši, može izgubiti sav kapital koji je zaradio tijekom vremena u tvrtki, a koji vjerojatno vrijedi milijune dolara. Jedan bivši zaposlenik, Daniel Kokotajlo, koji je objavio da je napustio OpenAI ‘zbog gubitka povjerenja da će se ponašati odgovorno u vrijeme AGI-ja‘, javno je potvrdio da je morao predati golemi iznos novca kako bi dali otkaz bez potpisivanja dokumenta.

Iako ugovori o tajnosti nisu neuobičajeni u visoko konkurentnoj Silicijskoj dolini, izlaganje već stečenog kapitala zaposlenika riziku zbog odbijanja ili kršenja jest. Za radnike u startupima kao što je OpenAI, kapital je vitalan oblik naknade, onaj koji može zasjeniti njihovu plaću. Prijetnje tim novcem koji potencijalno može promijeniti život vrlo je učinkovit način da bivši zaposlenici drže jezik za zubima.

Altman je u konačnici u tweetu priznao da je u dokumentima tvrtke o otpremnini postojala odredba o ‘potencijalnom poništenju kapitala‘ za zaposlenike koji odlaze, ali je rekao da je tvrtka u proces promjene te stavke iz ugovora.

Nedostaje transparentnosti

Sve je ovo vrlo ironično za tvrtku koja se u početku reklamirala kao OpenAI, predanu tvrtku u izgradnji moćnih sustava na transparentan i odgovoran način.

OpenAI je davno odustao od ideje otvorenog koda za svoje modele, navodeći zabrinutost zbog sigurnosti. Ali sada je otpustio najstarije i najcjenjenije članove svog tima za sigurnost, što bi trebalo pobuditi skepticizam o tome je li sigurnost doista razlog zašto je OpenAI postao toliko zatvoren.

OpenAI je dugo vremena zauzimao neobičnu poziciju u tehnološkim i političkim krugovima. Njihova izdanja, od DALL-E do ChatGPT-a, su prilično dobra, ali sama po sebi teško da bi privukla gotovo religiozni žar s kojim se često raspravlja o tvrtki.

Ono što izdvaja OpenAI je ambicija njegove misije: ‘osigurati da opća umjetna inteligencija - AI sustavi koji su općenito pametniji od ljudi - koristi cijelom čovječanstvu.‘ Mnogi zaposlenici vjeruju da je taj cilj nadohvat ruke i da će uz možda još jedno desetljeće (ili čak manje)  i uz bilijune dolara  tvrtka uspjeti razviti AI sustave koji većinu ljudskog rada čine zastarjelim.  Što je, kako je sama tvrtka odavno rekla, riskantno koliko i uzbudljivo.

-  Superinteligencija će biti najutjecajnija tehnologija koju je čovječanstvo ikad izumilo i mogla bi nam pomoći u rješavanju mnogih najvažnijih svjetskih problema -  navodi se na stranici za zapošljavanje za Leikeov i Sutskeverov tim u OpenAI-ju. ‘Ali ogromna moć superinteligencije također može biti vrlo opasna i može dovesti do obespravljivanja čovječanstva ili čak ljudskog izumiranja. Dok se superinteligencija sada čini dalekom, vjerujemo da bi mogla stići ovog desetljeća – pišu oni.

Naravno, ako je umjetna superinteligencija u našim životima moguća (a stručnjaci su podijeljeni), to bi imalo ogromne implikacije za čovječanstvo. OpenAI se povijesno pozicionirao kao odgovoran akter koji pokušava nadići puke komercijalne poticaje i donijeti generativnu umjetnu inteligenciju za dobrobit svih. I rekli su da su spremni to učiniti čak i ako to zahtijeva usporavanje razvoja, propuštanje prilika za profit ili dopuštanje vanjskog nadzora.

Jedinstvena korporativna struktura OpenAI-ja, a to je  tvrtka s ograničenim profitom koju u konačnici kontrolira neprofitna organizacija - trebala je povećati odgovornost. Ali, nešto je puklo, što najbolje pokazuju upravo odlasci iz tvrtke dvojice tehnologa s dugom poviješću predanosti sigurnosti i istinske volje da zatraže od OpenAI-ja da promijeni kurs ako je potrebno. Sutskevera i Leike su to vjerojatno i učinili, ali im se obilo o glavu pa su napustili kompaniju.

Njihov odlazak ne najavljuje promjenu OpenAI-jeve misije izgradnje opće umjetne inteligencije - to ostaje cilj. No, to gotovo sigurno najavljuje promjenu u interesu OpenAI-ja za sigurnost.

12. lipanj 2024 21:07