Mislav
Metina Galactica AI može pisati znanstvene radove, ali je li dobra?
Umjetna inteligencija Mete, koja je dizajnirana za pisanje znanstvenih istraživačkih radova i članaka na Wikipediji, privukla je kritike zbog svoje točnosti, a javni pristup je uklonjen
Facebookova matična tvrtka, Meta, objavila je AI model pod nazivom Galactica koji je dizajniran za pisanje eseja ili znanstvenih radova koji sažimaju najnovija dostignuća na određenu temu, zajedno s citatima, kao i detaljnim člancima na Wikipediji. Također može izvoditi matematičke izračune i odgovarati na pitanja o određenim molekulama.
Čemu služi Galactica?
Meta nije odgovorila na zahtjev za intervju, ali njen rad o Galactici kaže da je alat namijenjen za sažimanje svjetske znanstvene informacije na pristupačan način. “Eksplozivan rast znanstvene literature i podataka sve je otežao otkrivanje korisnih uvida u velikoj masi informacija”, kaže se.
Galactica je namijenjena kao veliki jezični AI model koji može “pohraniti, kombinirati i rasuđivati o znanstvenom znanju”.
“Ovaj je alat za pisanje papira kao što je pomoć u vožnji za vožnju”, rekao je Yann LeCun, Metin glavni znanstvenik za umjetnu inteligenciju, na Twitteru. “Neće vam automatski pisati radove, ali će uvelike smanjiti vaše kognitivno opterećenje dok ih pišete.”
Kako radi?
Galactica je niz modela umjetne inteligencije obučenih na više od 48 milijuna “visokokvalitetnih i visoko kuriranih” znanstvenih radova, udžbenika i bilješki s predavanja, znanstvenih web stranica i enciklopedija, piše u dokumentu Meta.
Istraživači su uvježbali pet različitih modela umjetne inteligencije na ovim informacijama, s povećanjem veličine i složenosti, u rasponu od relativno skromnih 125 milijuna parametara – dodijeljenih utora podataka unutar računala koji repliciraju sinapse između neurona u ljudskom mozgu – do 120 milijardi. Kao odgovor na bilo koji upit, svaki model može ispisati tekst u formatu istraživačkog rada, članka na Wikipediji ili običnog teksta, koristeći ono što je naučio iz ogromnog broja primjera koje je pročitao.
Koliko dobro radi?
Meta istraživači testirali su Galacticu u odnosu na druge AI modele na nizu mjerila. Na BIG-bench testu, koji je skup od 204 različita zadatka koji pokrivaju niz tema uključujući lingvistiku, matematiku i šah , najveći Galactica model imao je ocjenu točnosti od 48,7 posto – u usporedbi s većim parametrom od 175 milijardi model pod nazivom OPT, koji je postigao 43,4 posto. No, u radu se navodi da je samo 57 zadataka korišteno u eksperimentima.
Galactica je također dobro prošla na drugom mjerilu pod nazivom TruthfulQA, koje se sastoji od 817 pitanja koja obuhvaćaju zdravlje, pravo, financije i druge kategorije. Postigao je 26 posto točnosti, u usporedbi s OPT-ovim 21 posto. A u matematičkim dijelovima mjerila zvanog MMLU, nadmašio je DeepMindovu Chinchilla AI za 41,3 posto na 35,7 posto.
Također je ocijenjeno da je imao dobre rezultate na nizu znanstvenih mjerila, ali neki koji su čitali rad kritizirali su ga zbog usporedbe Galactice s jezičnim modelima opće namjene, od kojih se ne bi trebalo očekivati da budu dobri u rukovanju specifičnim znanstvena informacija kao model obučen isključivo na njoj. Drugi su istaknuli da se čini da Galactica dobro uočava važne ključne riječi, ali ne uspijeva rukovati semantičkim detaljima, na primjer dajući isti odgovor na “Što je protein koji NE radi s kolesterolom?” kao i na pitanje “Što je protein koji radi s kolesterolom?”
Michael Black s Instituta Max Planck za inteligentne sustave u Njemačkoj rekao je na Twitteru da je, kada je isprobao alat, rezultat bio “pogrešan ili pristran, ali je zvučao ispravno i autoritativno”.
Edward Johns s Imperial Collegea u Londonu kaže da su njegovi prvi rezultati korištenja Galactice bili mješoviti. “To je zabavan alat s kojim se možete igrati i izvrsna inicijativa Mete. Međutim, otkrio sam da nastoji pisati stvari koje bi mogle biti vjerodostojne nestručnjaku, ali nisu nužno znanstveno točne. I dok su pojedinačne rečenice imale smisla, struktura na visokoj razini često nije bila koherentna,” kaže on.
Prolazi li test struke?
Kako bi testirao Galacticu, New Scientist je zatražio od umjetne inteligencije – iako je u vrijeme pisanja ovog teksta javni pristup alatu bio uklonjen s njegove web stranice – da stvori Wikipedijinu stranicu o časopisu, koristeći brzi “wiki članak o časopisu New Scientist”. Ono što se vratilo glasilo je uvjerljivo, u poznatom stilu Wikipedijine stranice. Ali detalji su bili pogrešni.
“Prvi je broj objavljen u lipnju 1939.”, pisalo je – zapravo je to bila 1956. “Prvi je broj uključivao članak o otkriću penicilina od strane Alexandera Fleminga”, nastavlja se. To bi doista bila sjajna vijest da penicilin nije otkriven 11 godina prije, 1928.
New Scientist , prema Galactici, više ne izlazi, ali je prije izlazio mjesečno. Istina, časopis još uvijek napreduje i novi broj izlazi svaki tjedan.
Na površini, rezultat je bio uvjerljiv, s autoritativnim stilom koji je naučila oponašati iz brojnih radova koje su napisali ljudski akademici, ali je pao na točnost gotovo svake činjenice.
Ovu tvrdnju priznaje Meta, koja uključuje izjavu o odricanju od odgovornosti ispod Galacticinog rezultata: “UPOZORENJE: Izlazi mogu biti nepouzdani! Jezični modeli skloni su halucinacijama teksta.”