Vedran
Mikrodronovi: ubojice umjetnom inteligencijom postaju oružje za masovno uništenje
Ulazimo u prorečeno doba robota ubojica – ali znamo li doista što oslobađamo?
Dronovi su opet u vijestima, ali ne onako kako smo ih mi upoznali. U kolovozu je Britanija objavila da šalje 850 “mikrodronova” Black Hornet u Kijev za korištenje u bliskoj borbi.
Ideja je bila (prije spektakularnog ruskog kolapsa posljednjih tjedana) da će ukrajinskim trupama dati ključnu prednost u žestokim urbanim borbama koje su se očekivale dok su nastojali osloboditi svoja mjesta i gradove.
Ovi su strojevi daleko od velikih bespilotnih letjelica (UAV) povezanih s ratom protiv terorizma, sveprisutnih dronova Predatora i Reapera koji su donosili smrt s gornjeg neba s gotovo božanskom bezbrižnošću.
Black Hornets su zapravo više poput dječje igračke. S dimenzijama nešto preko šest inča i težinom nešto manjom od šljive, doslovno će viriti iza uglova i šuljati se kroz prozore.
Black Hornets su više poput dječje igračke nego vojnog oružja
Zbog svoje minimalne buke rotiranja, mogu se prišuljati ravno neprijatelju, ući u ruske komplekse i obrambene položaje (sve koji su preostali) i emitirati snimke visoke razlučivosti i fotografije putem tri kamere postavljene na nosu.
Hornetom upravlja vojnik s prve crte preko malog zaslona u stilu iPada i ručnog upravljača koji ne bi izgledao neprikladno na igraćoj konzoli iz 1990-ih. Po cijeni od 10.000 funti po komadu, ali će sigurno pojeftiniti, nudi ono za čim su žudjeli vojnici još od vremena prije Termopila: svijest o situaciji i sposobnost da se “vidi preko brda” – bez potrebe da se na vrh pošalje neki jadnik.
Dominic Nicholls, pomoćni urednik The Telegrapha, predobro zna vrijednost para udaljenih očiju. Koristio je dronove, velike i male, u brojnim operacijama, uključujući Irak i Afganistan.
"Dronovi s kojima sam radio omogućili su nam da donosimo odluke na temelju najboljih dostupnih informacija u stvarnom vremenu", kaže on. "To je možda bio odabir najboljih točaka za iskrcavanje helikoptera za vojnike koji napadaju položaj ili nagovaranje drugih sredstava na potencijalne prijetnje."
Baš kao što ćemo u civilnom životu uskoro koristiti male bespilotne letjelice za dostavu naših paketa, vojska im sada pronalazi namjene koje bi prije nekoliko desetljeća bile otpisane kao znanstvena fantastika.
Posebno Ukrajina nudi vrlo javnu demonstraciju njihove svestranosti – i pogled u budućnost.
Prvi veliki rat koji se odvijao u stvarnom vremenu na društvenim mrežama, sukob je izazvao malu revoluciju u inovacijama bespilotnih letjelica, s komercijalnim i domaćim modelima – mnoge od njih donirao je Zapad – hakiranim i modificiranim za isporuku smrtonosne sile.
Sada je uobičajeno otići na Twitter i vidjeti snimke prilagođenog drona, koji je prošle godine možda snimio vaše vjenčanje, bacajući granatu na bivak ruskog pješaštva koji spava ili kroz otvor tenka. Obavještajni podaci sugeriraju da je to donekle loše za moral. Osvajači se osjećaju progonjeni, provode isto toliko vremena gledajući prema gore koliko i naprijed.
Ukratko, dronovi vode vrlo dobar rat . Oni su očito budućnost. A ako strojevi mogu pomoći tehnološki naprednim državama poput Zapada i njegovih saveznika da pobijede u bitkama, a pritom poštede svoje trupe, što se tu ne sviđa?
Ukrajinski vojnici lansiraju bespilotnu letjelicu na bojišnicu u sjevernoj regiji Herson
Pa, ako je sve veći pokret stvarno eminentnih znanstvenika, prilično puno. Što, pitaju se, ako strojevi postanu previše učinkoviti?
Što se tiče očito pozitivnog primjera Ukrajine, mogli bi se suprotstaviti onima iz Libije i Gaze. To je zato što su to mjesta na kojima se – usred svih uobičajenih užasa – nedavno sumnja da su male bespilotne letjelice ne samo ubijale ljude, već da su to činile autonomno, neovisno o ljudskoj kontroli.
Manji bljeskovi na radaru, mogli biste reći. Ali u cijelom svijetu prelazi se moralna granica. Ulazimo u mnogo prorečeno doba robota ubojica – marš koji su pokrenuli steroidi zbog dostupnosti sve jeftinijih i učinkovitijih bespilotnih letećih strojeva i umjetne inteligencije koju pokreću zahtjevi pametnih telefona.
Pitanje je znamo li što smo oslobodili? I, dok to riješimo, hoće li biti prekasno?
Kako bismo ilustrirali poantu, vrijedi razumjeti što sustavi poput Black Horneta ne mogu.
Najavljujući paket pomoći Ujedinjenog Kraljevstva, ministar obrane Ben Wallace opisao ga je kao “vrhunski”. Ali čak bi i niski apsolvent informatike zakolutao očima na to. Zašto? Zato što zanemaruje činjenicu da Hornet i dalje zahtijeva od vojnika da se izloži opasnosti tako što će se dovoljno približiti neprijatelju (manje od 2 km) da ga pilotira na poziciju, i da jednom kad stigne, dron može djelovati samo pasivno, kao alat za izviđanje. Ukratko, ne može misliti svojom glavom i ne može ubijati.
Ali to se brzo mijenja.
Godine 2017. na diplomatskoj konferenciji Ujedinjenih naroda u Ženevi premijerno je prikazan kratki film koji je, blago rečeno, zabrljao. Slaughterbots – nagrađivani kratki film Future of Life Institute – prikazao je fikcionaliziranu uglađenu tehnološku prezentaciju u stilu Stevea Jobsa koja predstavlja mikrodron dovoljno malen da vam stane na dlan.
Publika se smijala i pljeskala dok je stroj razigrano izbjegavao pokušaje voditelja da ga zgrabi. Čak i kad nije pokušao, činilo se da pleše u zraku, očito pokazujući svoju protusnajpersku funkciju “stohastičkog gibanja”.
Najbolji dio? “Sve je to umjetna inteligencija”, samodopadno kaže voditelj u filmu. “Njegov procesor može reagirati 100 puta brže od čovjeka.” Drugim riječima, kontrolira samu sebe. Nastavlja: “Kao svaki mobilni uređaj ovih dana, ima kamere i senzore, i baš kao i vaši telefoni i aplikacije za društvene mreže, prepoznaje lice.”
Potom otkriva da se u sićušnoj bespilotnoj letjelici s četiri rotora, koja je dosad lagano sletjela u njegovoj ruci, nalazi tri grama “oblikovanog” eksploziva.
Baci ga u zrak, nakon čega se brzo oporavi i poput munje juriša na obližnju lutku, napravivši mu malu rupu na čelu. “Taj mali prasak”, rečeno nam je, “dovoljan je da prodre u lubanju i uništi sadržaj.”
Prilično zastrašujuće: mali, jeftini dron koji koristi prepoznavanje lica za odabir i ubijanje mete, bez ikakve izravne ljudske kontrole.
Snimak iz kratkog filma koji prikazuje ljudsku metu u nišanu fiktivnog mikrodrona
Slaughterbots, naravno, nije dokumentarac. Ali koliko smo blizu pravoj stvari?
Stuart Russell je profesor informatike na Kalifornijskom sveučilištu i bio je sponzor filma 2017. koji je do sada pogledan više od 75 milijuna puta.
Možda je to njegov odmjereni britanski naglasak ili kutija s PG savjetima vidljiva u njegovom uredu na Berkleyju dok razgovaramo putem Zooma, ali on ne djeluje kao običan ili vrtni propast. Zapravo, on je jedan od vodećih svjetskih mozgova u ovom području i održao je prošlogodišnja Reith predavanja na temu života s umjetnom inteligencijom.
Ključna je stvar, kaže on, da tehnologije potrebne za smrtonosni mikrodron tipa prikazanog u filmu već postoje. Samo ih treba poboljšati u nekim područjima, smanjiti i integrirati.
“Postoje neki tehnički problemi u minijaturizaciji koji se odnose na baterije i domet te koliko vam je ugrađene snage potrebno za podršku računalne obrade koja vam je potrebna da biste imali potpuno autonomni sustav”, rekao je. “Ali to je zapravo inženjerski zadatak. Nema znanstvenofantastičnih stvari koje se moraju dogoditi. U većini slučajeva već smo tamo.”
Da biste izgradili mikrodrone doista visokih performansi, vjerojatno biste dizajnirali vlastiti lakši i energetski učinkovitiji računalni čip, poznat kao Application-Specific Integrated Circuit (Asic), umjesto da koristite čip opće namjene. Ali to je savršeno izvedivo.
Snimak iz filma prikazuje avion kako ispušta roj mikrodronova
Izmišljeni voditelj Slaughterbotsa je sam rekao: puno tehnologije koja bi omogućila tom mikrodronu da vas pronađe i potom odluči hoće li vas ubiti ili ne – kamere, prepoznavanje lica, geolokacija – već postoji u vašem pametnom telefonu.
Da je film tu završio, bilo bi dovoljno uznemirujuće. Ali dalje prikazuje uređaje koji rade kao dio čopora, ili “roja”, loveći hrpu navodnih negativaca. I to je zapravo cijela poanta koncepta naoružanog mikrodrona. Sami biste mogli biti vrlo gadni, ali kao dio koordinirane grupe, apsolutna noćna mora.
Računalni sustavi umjetne inteligencije mogli bi se “istrenirati” da upravljaju više dronova kao tim, prodirući u zgrade, vlakove, automobile, prilično otporni na metke i manje osjetljivi na elektroničko ometanje jer se njima ne upravlja daljinski.
Samo zamislite: par članova tima pričvrsti se za zračni kanal na bočnoj strani zgrade, raznese se, a ostatak uđe kroz sustav za filtriranje, možda programiran softverom za prepoznavanje lica, šarenice ili čak hoda.
Dominic Nicholls zamišlja njihovu upotrebu u ratu. “Jednom kada se pusti preko neprijateljskih linija u potrazi za određenim ciljevima, niti jedan viši zapovjednik, koliko god bio blizu akcije, nikada neće osjetiti bilo kakvu sigurnost na bojnom polju.”
Opet, još nismo tamo, ali ako je ovaj scenarij futuristički, onda je to bliska budućnost.
Dronovi već godinama rade samostalno u timovima na zadacima kao što su potraga i spašavanje te čišćenje izlijevanja nafte. Počinju se pojavljivati i prvi signali njihove upotrebe kao smrtonosne sile.
Programiranje bespilotnih letjelica za napad na ljude s oružjem u vojnim uniformama tehnološka je ‘dječja igra’
U 2020. okršaj u Libiji uključivao je moguću upotrebu autonomne letalne letjelice turske proizvodnje pod nazivom Kargu-2. Prema izvješću UN-a, ovo je korišteno za lov i angažiranje logističkog konvoja povezanog s ratnim zapovjednikom Khalifom Haftarom, što je označilo poznati debi na bojnom polju za tu klasu oružja.
Prošle godine, u međuvremenu, objavljeno je da su Izraelske obrambene snage rasporedile roj bespilotnih letjelica kako bi locirale, identificirale i napale militante Hamasa, što se smatra prvi put da je roj korišten u borbi.
Ništa od toga, striktno govoreći, nije bilo mikrodronovo. Ali dokaz koncepta, posebno u slučaju incidenta u Gazi, dovoljno je jasan.
“Pa što?” mogli biste pitati. Uostalom, povijest ratovanja je na neki način definirana uvođenjem novih i neugodnih oružja koja olakšavaju ubijanje neprijatelja. Nisu li mikrodronovi samo najnoviji?
Da i ne. Presudni čimbenik, prema profesoru Russellu, je “skalabilnost” – nije posebno seksi riječ, ali ona s potencijalno definirajućim implikacijama ere.
Vratimo se Slaughterbots, kratkom filmu koji je podupirao i koji je stekao popularnost među skepticima LAWS-a (Smrtonosni autonomni sustavi oružja). U drugom činu napuštamo zamišljenu dvoranu za tehnološke prezentacije (s njezinom preminulom lutkom) i krećemo se umjesto toga prema velikom vojnom teretnom zrakoplovu u letu.
“Razmišljamo na veliko”, kaže glas. “Narudžba od 25 milijuna dolara sada kupuje ovo… Dovoljno da ubije pola grada – lošu polovicu.”
Pritom se otvore stražnja vrata zrakoplova i tisuće mikrodronova izlete van, aktiviraju se u zraku i počnu zujati prema tlu poput zlonamjernih osa. Ovo je roj, ali u različitim razmjerima. Mikrodronovi su zapravo postali oružje za masovno uništenje.
Ako to zvuči pretjerano, uzmite u obzir da je prije samo nekoliko godina Black Hornet koštao oko 80.000 dolara po jedinici; sada su osmina te cijene.
Astronomski je teško napraviti vlastito nuklearno oružje, pa čak i kupiti ga, ako međunarodna zajednica to ne odobrava. Samo pitajte Iran. Ali kako se tehnologija autonomnih dronova sve više širi kao glavni aspekt komercijalnog i rekreacijskog života, isto neće vrijediti za rojeve.
Koliko bi doista bilo teško zloćudnoj državi uspostaviti super tvornicu koja proizvodi stotine mikrodronova tjedno ili terorističkoj skupini poput Isis-a ili Al-Qaide jednostavno kupiti strojeve na otvorenom tržištu?
Većina promatrača vjeruje – iako možda s priželjkivanjem – da Vladimir Putin neće pribjeći nuklearnom napadu iz straha od međunarodnog odgovora. Ali bi li čovjek koji ne pokazuje grižnju savjesti u sravnjivanju civilnih područja s topništvom oklijevao upotrijebiti mega roj mikrodronova ubojica da ponovno zauzme Harkov ili Izium?
Programiranje dronova za napad na ljude s oružjem u vojnim uniformama tehnološka je dječja igra. Ali zašto tu stati? Zašto ne bismo i automatski pratili korištenje mobilnih telefona i uklonili civile koji su objavili prokijevski sadržaj na Twitteru ili Instagramu?
Do ove vrste integrirane sposobnosti možda će biti još godinama; vojna nabava (borac F-35, na primjer) inače se mjeri desetljećima. Jednako tako, moglo bi biti puno bliže.
Profesor Russell kaže da postoje jasne paralele sa stvaranjem atomske bombe. Do kraja 1930-ih, velik dio teoretskog teškog posla, kao što je identificiranje izotopa urana i plutonija za obogaćivanje, bio je na mjestu.
Ali bio je potreban veliki poticaj da se ovo pretvori u radnu stvarnost. Godine 1943. američka vlada otvorila je svoju čekovnu knjižicu, okupila najbolje nacionalne znanstvenike u Los Alamosu u Novom Meksiku i preusmjerila jedan posto cjelokupne opskrbe električnom energijom u zemlji za njihova nastojanja. Dvije godine kasnije dobili su svoju bombu.
Prije samo nekoliko godina Black Hornet je koštao oko 80.000 dolara po jedinici; sada su osmina te cijene.
“To je stvar volje”, kaže. “Ako bismo htjeli stvoriti takvu vrstu oružja, mislim da bismo to mogli učiniti za 18 mjeseci. Lakše je nego projekt na Manhattanu.”
Ove brige nisu ograničene na sveučilišni kampus.
Chris Cole je blag, promišljen tip momka. Iz svog doma u Oxfordu vodi web stranicu pod nazivom Drone Wars UK koja ima za cilj dokumentirati i upozoriti na upotrebu naoružanih dronova, a posebno na britansko sudjelovanje.
“Postoji etičko pitanje kada strojevi odlučuju koga će ubiti”, rekao je. “Ta linija je stalno nagrizana. Dolazimo do faze kada ljudi gube odluke koje donose strojevi.”
G. Cole i njegov tim većinu svog vremena provode organizirajući javne sastanke i kampanje masovnog pisanja pisama, a povremeno se obraćaju i sudu kako bi osporili navodnu vladinu tajnost o toj temi.
Ako vam to zvuči poznato, možda je to zato što njegova organizacija ima čvrste veze s Kampanjom za nuklearno razoružanje i raznim tijelima protiv trgovine oružjem. Ali to samo po sebi otkriva: potencijal za nuklearni armagedon ostaje, ali čini se da njegovi dugogodišnji protivnici sada smatraju uspon malih plastičnih robota sličnom prijetnjom.
Možda ulazimo u novu utrku u naoružanju sličnu onoj iz 1940-ih i 50-ih?
Vodeće vojne sile vide autonomno oružje kao budućnost ratovanja
Zapad je u dilemi. Njezine vodeće vojne sile jasno vide autonomno oružje kao budućnost ratovanja. No razumljivo je da su osjetljivi na reakciju javnosti na ideju o potpuno neovisnim robotima ubojicama. Uostalom, mnogi od nas odrasli su na filmovima o Terminatoru.
Ministarstvo obrane SAD-a od 2012. djeluje prema samonametnutoj Direktivi 3000.09. Nejasno je. Neki to razumiju da znači da čovjek mora biti prisutan u “petlji” donošenja odluka, iako se drugi ne slažu ili kažu da je ovu odredbu ionako lako nadjačati.
Pažljivo pogledajte i smjer vožnje će vam biti jasan. Najavljujući ažuriranje svog CODE (Collaborative Operations in Denied Environment) programa prije nekoliko godina, dužnosnik DARPA-e (Defence Advanced Research Projects Agency) rekao je: “Baš kao što vukovi love u koordiniranim čoporima uz minimalnu komunikaciju, više bespilotnih letjelica s omogućenim CODE-om surađivalo bi pronaći, pratiti, identificirati i djelovati na ciljeve, a sve pod zapovjedništvom jednog ljudskog nadzornika misije.”
Temeljna priroda bitke u sredini ovog stoljeća i dalje ovisi o tome što taj nadzor podrazumijeva.
Neke zemlje vide smjer kretanja i žele da se to zaustavi: od 2014. deseci su signalizirali svoju potporu sporazumu koji zabranjuje korištenje autonomnih robota ubojica. Drugi žele napredovati.
To su veliki igrači. Ni SAD, Kina, Indija ni Rusija vjerojatno nisu pokazale mnogo stvarne volje za potpisivanje. Niti je, što se toga tiče, Britanija. Ove godine RAF je obustavio svoj program dronova Project Mosquito (roj), pod pokroviteljstvom 216. eskadrile, ali samo kako bi krenuo naprijed s planovima za bolju zamjenu.
“Ovo je jedno od rijetkih područja u kojem se SAD, UK i Rusija slažu: da bismo trebali stvoriti ovu novu klasu oružja”, skrušeno se smije profesor Russell (nepotrebno je reći da podržava zabranu). Njegova frustracija je evidentna. “Mislim da bi Ujedinjeno Kraljevstvo moglo odigrati značajnu ulogu ako se ozbiljno pozabavi tim pitanjem. Prozor za djelovanje brzo se zatvara.”
Obrativši se prije ovog članka, Ministarstvo obrane zanijekalo je da Ujedinjeno Kraljevstvo posjeduje potpuno autonomne sustave naoružanja, tj. one bez ljudskog angažmana “primjerenog kontekstu”, ili da ih namjerava koristiti.
Rekli su da je njihova strategija promicanje “sigurnog i odgovornog” vojnog razvoja umjetne inteligencije u dogovoru sa saveznicima i zalaganje za usklađenost s trenutnim međunarodnim pravom, koje je opisalo kao “vrlo učinkovito”.
Možda, kao i kod nuklearne energije, nema zaustavljanja napredovanja tehnologije. I nije li prirodno, štoviše humano, tražiti načine da se vojnici drže podalje od linije vatre?
General bojnik Jonathan Shaw vidio je krvavu cijenu sukoba izbliza, prvo kao zapovjednik voda padobranske pukovnije na Falklandima, a kasnije zapovijedajući multinacionalnom divizijom u južnom Iraku.
“Zašto ljude zanima zrak?” on pita. “To je zato što se u vojsci uvijek pitamo ‘što ima preko brda’?” Mikrodronovi, kaže on, “omogućuju vam da vodite rat bez ljudskih troškova.”
Iako nije izrazio stav o pitanju automatizacije, rekao je da s bespilotnim letjelicama “ubijate više neprijatelja bez dodatnih troškova za sebe, a to je uvijek cilj. Bili bi stvarno korisni na Falklandima. Bilo je mnogo žrtava.”
Teško je raspravljati s jednostavnom činjeničnom izjavom, koja nije ništa više od generalove namjere. Ali možda ovo gledište nameće određeno pitanje.
Može li umjetna inteligencija ikada biti bolja u odlučivanju tko će živjeti ili umrijeti?
Umjetna inteligencija – roboti, drugim riječima – dokazano je bolja od ljudi u velikom i rastućem rasponu aktivnosti, od igranja šaha do pilotiranja zrakoplova. Ali, ako uzmete u obzir ključni moralni faktor, mogu li oni ikada biti bolji u odlučivanju tko će živjeti, a tko umrijeti?
Upamtite, uvođenje samovozećih automobila trenutačno se vrti oko ove dileme.
Unatoč svim svojim brojnim neredima i kontroverzama, napadi dronovima Predator i Reaper s kojima smo se toliko upoznali nakon 11. rujna bili su, koliko znamo, u potpunosti kontrolirani, a ne samo “nadzirani” od strane ljudi.
“Nema euforije nakon napada dronom”, kaže Dominic Nicholls. “Opisao bih preplavljujući osjećaj kao osjećaj olakšanja. Morate vjerovati inteligenciji koja vas je dovela do točke da odlučite upotrijebiti smrtonosnu silu protiv pojedinca. Ali kada se ta odluka donese, želite da se taj čin provede na što učinkovitiji način.
“Nikada nisam vidio da netko udara šakom u zrak ili na bilo koji način uživa u nasilnoj smrti koju smo upravo izazvali. Većina ljudi, ako su uopće izrazili svoje mišljenje, bili su odmjereni, profesionalni i drago im je da su svi dijelovi sustava radili.”
Nije savršeno. Ali to je ljudski.