Skrót raportu INSURGE Intelligence.
Dokument Departamentu Obrony USA (Departament of Justice – DoD) z 2016 r. pt. „Przegląd planowania systemów ludzkich” ujawnia, że armia USA stworzy autonomiczne systemy broni oparte na sztucznej inteligencji (Artificial Intelligence – AI), które posłużą się analizami predykcyjnymi mediów społecznościowych w podejmowaniu decyzji o użyciu śmiercionośnej siły. Pomimo oficjalnych zapewnień, że człowiek zachowa w „znaczącym” stopniu kontrolę nad tymi systemami, materiały Pentagonu z 2015 i 2016 r. potwierdzają, iż amerykańscy planiści wojskowi opracowują technologie umożliwiające hordom „samoświadomych”, połączonych ze sobą robotów zaprojektowanie i przeprowadzenie egzekucji wybranych przez siebie celów.
DoD jest przeświadczony, że w ciągu zaledwie kilkunastu lat będzie wykonalne powierzenie planowania misji, wyboru i niszczenia celów samodzielnym systemom broni, rozmieszczonym w powietrzu, na lądzie i na morzu. Pentagon spodziewa się, iż AI formułując oceny zagrożeń dla tych operacji wykorzysta ogromne zbiory danych, w tym blogi, strony internetowe oraz korespondencję multimedialną z platform społecznościowych takich jak Facebook, Instagram i Twitter.
Dokumentacja Pentagonu kategorycznie przeczy słowom byłego zastępcy sekretarza obrony USA Roberta Worka, który zapewniał, że DoD nie zamierza budować robotów-zabójców. W wywiadzie dla Washington Post zastrzegł, że stanowisko rządu może ulec zmianie, gdy inne mocarstwa rozpoczną prace nad takimi technologiami: „Możemy rywalizować z konkurentem, który jest bardziej skłonny przekazać podobną władzę maszynom. Rozwój rywalizacji podyktuje nasze decyzje odnośnie najlepszego sposobu na dotrzymanie kroku”. Jednocześnie podkreślił: „Nie oddamy zabójczego zwierzchnictwa maszynie. Wyjątkiem będą działania wojenne w przestrzeni cybernetycznej i elektronicznej”. Urzędnik skłamał. Według zapisów strategii obrony USA i NATO zachodnie rządy planują już stworzenie autonomicznych systemów broni – mają one decydować nawet o dopuszczalnym poziomie „ofiar wśród ludności cywilnej”.
Machina ruszyła
Plany są zawarte w kilku jawnych dokumentach Pentagonu, które mimo obecności w rejestrze publicznym, pozostawały dotychczas niezauważone. Wśród nich jest „Wspólnota systemów ludzkich” (Human Systems Community of Interest – HSCOI). Z jego lektury dowiadujemy się, że Pentagon pracuje już nad samodzielnymi systemami broni, zaś kluczowym elementem ich procesu decyzyjnego będą złożone modele Big Data, zasilane postami z mediów społecznościowych.
Docelowo program ma ustanowić „autonomiczną kontrolę licznych, samosterujących systemów do operacji wojskowych”, które zafunkcjonują jako „mnożnik siły”. Muszą one posiąść zdolność samodzielnej selekcji i likwidacji celów. Ingerencja czynnika ludzkiego zostanie drastycznie zminimalizowana – ograniczy się jedynie do potwierdzenia, że operacja mieści się w parametrach „zamiarów” dowództwa. Autorzy dokumentu stwierdzają wyraźnie, że zrobotyzowane systemy broni powinny być w stanie reagować na zagrożenia bez asysty człowieka, ale w sposób, który symuluje ludzkie zachowanie i procesy poznawcze.
HSCOI składa się z wysokich rangą urzędników armii USA, marynarki wojennej, piechoty morskiej, sił powietrznych oraz Agencji Zaawansowanych Projektów Badawczych w sferze Obronności (Defense Advanced Research Projects Agency – DARPA). Nadzór sprawuje nad nim sekretarz pomocniczy obrony ds. badań i inżynierii oraz sekretarz pomocniczy obrony ds. zdrowia. Integralną częścią HSCOI jest rozwijanie interfejsów człowiek-maszyna i analiz predykcyjnych. W zakres tych ostatnich wchodzą „modele prognozowania zagrożeń ze strony społeczeństwa”, opisane w broszurze HSCOI dla branży technologicznej pt. „Wyzwania, możliwości i przyszłe działania”. Jako składowe „ISA ludzkich poczynań”, modele dotyczą inwigilacji i rozpoznania danej społeczności na „obszarze zainteresowania” poprzez gromadzenie i analizę danych na temat zachowań, kultury, struktury społecznej, sieci powiązań, relacji, motywacji, intencji, słabości i potencjału określonej grupy ludzi.
„Wspólnota interesów systemów ludzkich” z lutego 2016 r. ujawnia, że przedstawiony tryb rozwoju stanowi spuściznę kontrowersyjnego programu Pentagonu o nazwie „System terenu ludzkiego” (Human Terrain System – HTS). Powstał on w 2006 r. w Komendzie Szkolenia i Doktryny Armii USA (Training and Doctrine Command – TRADOC). Uczestniczyli w nim specjaliści w zakresie nauk społecznych, którzy wspierali kampanię przeciwpartyzancką w Iraku i Afganistanie. Chodziło o to, aby wykorzystać socjologów i antropologów kulturowych jako doradców zapewniających wgląd w mentalność miejscowej ludności, co ułatwiało realizację akcji militarnych. Innymi słowy, nauki społeczne służą jako broń. Program zlikwidowano we wrześniu 2014 r. wskutek zarzucanej mu niekompetencji.
HSCOI również obejmuje nauki społeczne, jednak większy nacisk kładzie się na zespolenie ich z predykcyjnymi modelami obliczeniowymi, które bazują na Big Data. Dane z mediów społecznościowych będą podstawą prognozowania przyszłych zagrożeń i automatycznego formułowania zaleceń odnoszących się do „kierunku działania”. Pentagon akcentuje, że wkład ludzki w „wytyczanie i ocenę” kierunku działania należy stale ograniczać i zastąpić go zautomatyzowanymi predykcyjnymi modelami analitycznymi. Żołnierze mogą identyfikować z ich pomocą potencjalne cele. Informacje z mediów społecznościowych staną się faktycznie „informacjami wywiadowczymi”.
Główne dążenie Pentagonu zostało zawarte w prezentacji slajdów pt. „Plan autonomii Departamentu Obrony” („DoD Autonomy Roadmap”). Chodzi o „zaufane systemy autonomiczne”, czyli agentów maszynowych, których zachowanie i dedukowanie może być w pełni zrozumiane, a zatem „darzone zaufaniem”. Po raz kolejny ma to ułatwić proces, w wyniku którego ludzie będą eliminowani z udziału w kluczowych stadiach operacji. „Na półmetku” realizacji tego zamierzenia pojawią się „udoskonalone metody dzielenia władzy” między ludzi i maszyny. „Na końcu” wyewoluuje system maszynowy, operujący samodzielnie w oparciu o „świadomość intencji dowódców” i „zastosowanie pośrednich mechanizmów sprzężenia zwrotnego”. Ostatecznie wyłoni się możliwość rozmieszczenia „Skalowalnego zespołu systemów autonomicznych” (Scalable Teaming of Autonomous Systems – STAS), wolnego od czytelnych wskazówek ludzkich, w którym agenci maszynowi demonstrują „zespołową percepcję, zamiary i wykonanie”, a także „solidną samoorganizację, adaptację i współpracę”. Proszę zwróć uwagę na brak ludzkiej współpracy.
„Dalekosiężna” wizja takich „samoświadomych”, samodzielnych systemów broni nie dotyczy, jak twierdził Robert Work, tylko cybernetycznych lub elektronicznych działań wojennych, lecz obejmuje też „naziemne konwoje/operacje ziemia-powietrze”, „działania wielu agentów z opcją balistyczną”, „inteligentną amunicję”. Operacje te mogą odbywać się nawet w środowiskach miejskich, „w bliskim sąsiedztwie innych systemów załogowych i bezzałogowych, z zatłoczonymi obszarami wojskowymi i cywilnymi włącznie”. Dokument przyznaje, że systemom samodzielnym „trudno jest zagwarantować prawidłowe zachowania w niezliczonej ilości warunków środowiskowych” oraz „dostateczne uchwycenie i zrozumienie wszystkich zamierzonych i niezamierzonych konsekwencji”.
Blogerzy antywojenni na muszce
Największym wyzwaniem, nie zidentyfikowanym w żadnym z dokumentów, jest zapewnienie, by dokonywana przez AI automatyczna selekcja celów wskazywała rzeczywiste, a nie fałszywe zagrożenia. Z planów „systemów ludzkich” dowiadujemy się, iż Pentagon zademonstrował już szerokie możliwości AI w analizowaniu mediów społecznościowych. Podczas przeprowadzonych przez NATO w 2016 r. ćwiczeń „Trident Juncture” – największych od co najmniej dziesięciu lat – personel wojskowy USA „badał treść ponad 2 milionów tweetów, w tym ataków informacyjnych (ang. trolling) i innych konfliktów w przestrzeni informacyjnej, w ramach 6-miesięcznej analizy bazowej”.
Armia i marynarka wojenna USA już dzisiaj potrafią „uzyskać i przekazać świadomość sytuacyjną w czasie rzeczywistym i automatyczną analizę źródeł mediów społecznościowych, mając do dyspozycji nieliczny personel i niewielkie fundusze”, dzięki czemu liderzy wojskowi mogą „szybko zaobserwować schematy przepływu danych, kluczowe fragmenty danych” i „łatwo rozpoznać przydatne informacje”. Najważniejszy wkład w „Trident Juncture” miał zespół kierowany przez informatologa, profesora Nitina Agarwala z Uniwersytetu Arkansas w Little Rock.
Wspierany przez NATO projekt próbował zidentyfikować sieć wrogich blogów rozpowszechniających „propagandę wymierzoną w NATO i Stany Zjednoczone”. Wśród siedmiu najważniejszych węzłów antynatowskiego ruchu w internecie znalazły się witryny działacza antywojennego Andreasa Specka, przykładowo War Resisters International (WRI), a także egipskiego propagatora demokracji Maikela Nabila Sanada. WRI propaguje niestosowanie przemocy, prowadzi kampanie przeciwko wojnie i militaryzmowi we wszystkich jego formach. Natomiast Nabil był nominowany do Pokojowej Nagrody Nobla. Profesor Agarwal ocenił ćwiczenia jako wielki sukces: udało mu się wyodrębnić 635 markerów tożsamości dzięki metadanym z sieci blogów, w tym 65 adresów e-mail, 3 „osoby” i 67 numerów telefonów. Jest to ten sam rodzaj metadanych, który jest rutynowo wykorzystywany przez operatorów dronów do identyfikowania ludzkich celów (zdecydowana większość ofiar nalotów bezzałogowych to nie terroryści, tylko cywile).
Zdefiniowanie działacza na rzecz demokracji, takiego jak Maikel Nabil, jako wrogiego podmiotu, szerzącego antynatowską i antyamerykańską propagandę udowadnia, że posługiwanie się zautomatyzowanymi narzędziami AI w złożonych środowiskach konfliktu zbrojnego (np. Pakistan, Afganistan i Jemen) może prowadzić do potraktowania osób lub grup krytycznych wobec polityki USA jak zagrożeń terrorystycznych. Nawet uczestnictwo niezależnych ekspertów nie zdoła temu zapobiec. Trudno o bardziej sugestywną ilustrację błędów Pentagonu w kwestii automatyzacji.
Spokojnie, to tylko awaria
Raport Paula Scharre’a, lidera grupy roboczej, która opracowała Dyrektywę nr 3 000,09 Departamentu Obrony, i kierownika programu przyszłych działań wojennych w Centrum Nowego Bezpieczeństwa Stanów Zjednoczonych w Waszyngtonie (Center for New American Security), nie przebiera w słowach pisząc o „katastrofalnym” ryzyku związanym z poleganiem na autonomicznych systemach broni: „Zanim ludzki kontroler podejmie interwencję, potencjalne szkody mogą być niewyobrażalne. (…) W najbardziej ekstremalnym przypadku broń autonomiczna może nieprzerwanie unicestwiać niewłaściwe cele na rozległym obszarze, aż do wyczerpania swojej amunicji. Jeśli usterka zostanie powielona w innej broni identycznego typu, wojsko może stanąć w obliczu niepokojącej perspektywy jednoczesnej awarii dużej liczby autonomicznych środków bojowych, co przyniesie katastrofalne skutki”.
Scharre zwraca uwagę, że „broń autonomiczna niesie nowe ryzyko masowego bratobójstwa, gdy jej duża liczba zwróci się przeciwko siłom sojuszniczym” wskutek wielu prawdopodobnych przyczyn: „hakowania, manipulacji zachowaniami przez nieprzyjaciela, nieoczekiwanych interakcji ze środowiskiem lub awarii i błędów w oprogramowaniu”. Ekspert przypomina, iż w przemyśle informatycznym na każde 1 000 linii kodu przypada od 15 do 50 błędów. Gdy dochodzi do ich akumulacji, tworzą nieoczekiwane efekty, które można przeoczyć nawet przy najbardziej rygorystycznych metodach testowania i potwierdzania poprawności. Im bardziej złożony system, tym trudniej jest weryfikować i śledzić jego zachowanie we wszystkich możliwych warunkach: „liczba potencjalnych interakcji w systemie i jego otoczeniu jest po prostu zbyt duża”. Zagrożeń tych nie da się wyeliminować całkowicie. Skomplikowane, ściśle powiązane systemy z natury są podatne na „normalne wypadki”.
Wpisy powiązane tematycznie: „Systemy Big Data”, „Sztuczna inteligencja i spinacze biurowe”, „Uciszając głosy sprzeciwu”
Tłumaczenie: exignorant
Jeśli uzna Pani/Pan moją pracę za wartościową i zasługującą na symboliczne wsparcie, proszę rozważyć możliwość zostania moim Patronem. Dziękuję.
Blog exignoranta 