Lo stato dell’arte (preoccupante) delle armi autonome
La lettera aperta del Future of Life Institute firmata da migliaia di esperti per chiedere all'Onu di mettere al bando le armi autonome.
di Roberto Paura, Italian Institute for the Future
Nel 2017 il Future of Life Institute, un think-tank americano che si occupa dei rischi esistenziali connessi allo sviluppo dell’intelligenza artificiale, ha pubblicato una lettera aperta firmata da migliaia di esperti di IA e robotica per chiedere alle Nazioni Unite di mettere al bando le armi autonome (lethal autonomous weapons); da allora, il dibattito sul tema è cresciuto in modo esponenziale e ad agosto 2019 PAX – un’organizzazione no-profit olandese che ha co-fondato con il Future of Life Institute la campagna internazionale per fermare la nuove alle armi robotiche – ha pubblicato un importante rapporto sullo stato dell’arte tecnologico, in cui sono state analizzate tutte le principali compagnie e startup private che operano in settori le cui tecnologie potrebbero, in un modo o nell’altro, essere impiegate anche nello sviluppo di armi autonome, chiedendo inoltre ai loro CEO di chiarire la loro posizione in merito a possibili collaborazioni in ambito militare.
Preoccupazioni non mancano, tanto che nel 2018 migliaia di impiegati di Google hanno firmato una lettera aperta ai loro vertici chiedendo che fosse abbandonata un’importante commessa che l’azienda aveva ricevuto dal Pentagono per lo sviluppo di algoritmi di riconoscimento facciale da applicare alle armi autonome (progetto Maven); in seguito a questa richiesta, Google ha abbandonato il progetto e successivamente anche Microsoft è stata coinvolta in una protesta dei suoi dipendenti per i quasi 500 milioni di dollari ricevuti dal Pentagono per applicare gli HoloLens (visori di realtà aumentata) ai caschi dell’esercito americano (Microsoft ha scelto di confermare il contratto con l’esercito). Questi problemi derivano dal fatto che le armi autonome si avvalgono di sistemi duali (dual-use), sviluppati solitamente per finalità civili ma che possono facilmente avere un impiego militare (un caso di scuola riguarda il GPS, che utilizziamo quotidianamente in auto ma che è di derivazione militare e viene impiegato altrettanto quotidianamente dalle forze armate in operazioni di sorveglianza quanto in teatri di guerra).
Le armi autonome si distinguono per la loro capacità di individuare autonomamente il loro target e colpirlo senza l’intervento umano; un tipico esempio riguarda i droni da guerra, che sempre più colpiscono i loro obiettivi senza essere pilotati da terra, perché addestrati attraverso il machine learning, grazie al quale imparano a distinguere il bersaglio selezionato tra tanti segnali diversi (per esempio, un assembramento di milizie in una folla di civili non armati). L’opportunità militare di sviluppare armi autonome deriva dal vantaggio di usare algoritmi che hanno velocità di scelta e azione significativamente superiori ai tempi umani; ma da ciò derivano anche i rischi di escalation incontrollate che l’intervento umano non farebbe a tempo a fermare, se in futuro le principali azioni di guerra fossero demandate a intelligenze artificiali (IA) autonome. Qualcosa di simile al ben noto rischio, negli anni della Guerra fredda, di un’escalation nucleare nel giro di pochi minuti causata da un errore strumentale.
Il report di PAX ha analizzato circa 50 compagnie che lavorano in ricerca e sviluppo di tecnologie duali che potrebbero essere impiegate nello sviluppo di armi autonome. Tra queste un posto di primo piano è occupato dalle Big Tech. Nella gara d’appalto del Pentagono per il progetto JEDI, un’infrastruttura cloud proprietaria su cui far girare algoritmi di machine learning per impieghi militari, con un investimento di 10 miliardi di dollari, hanno partecipato Oracle, IBM, Amazon Web Service e Microsoft. Al 2014, Amazon aveva già generato un fatturato di 600 milioni di dollari da contratti classificati con la CIA per server cloud, e il suo CEO Jeff Bezos ha confermato l’intenzione dell’azienda di collaborare con la Difesa americana. Anche in Cina, i colossi BAT (Baidu, Alibaba e Tencent) hanno stretto legami col governo che potrebbero nascondere futuri impieghi militari: Baidu (principale motore di ricerca cinese) guida i laboratori nazionali cinesi per lo sviluppo di tecnologie deep learning, lavorando allo sviluppo di robot intelligenti, mentre Alibana (la principale piattaforma di e-commerce) ha investito in diversi laboratori di ricerca su IA e machine learning, e Tencent (principale social media cinese) lavora nell’applicazione dell’IA in ambito medico e per i veicoli autonomi, tecnologia che potrebbe essere usata per finalità militari (nessuna delle tre compagnie cinesi ha risposto al questionario somministrato da PAX).
Sul versante dell’elettronica, Samsung ha gestito fino al 2014 Techwin, divisione dedicata alle tecnologie militari, poi venduta ad Hanhwa, in cui è stato prodotto il robot sentinella SG1A. Siemens ha sviluppato la piattaforma cloud MindSphere, usata per finalità commerciali, ma nel 2013 ha iniziato a collaborare con la DARPA per un programma di ricerca teso a predire i pattern associati all’attività neurale, allo scopo di comprendere i “pensieri” associati agli schemi neurali.
In ambito hardware, IBM da tempo collabora con la difesa americana, per esempio attraverso lo sviluppo dei supercomputer Sequoia e Sierra per il programma nucleare militare (ricerca e simulazioni) ed è attualmente attiva sul versante dell’intelligenza aumentata con un contratto con i Marines. Il responsabile di IBM Watson, così come il vicepresidente dell’area cognitive computing, sono stati tuttavia tra i firmatari della lettera del Future of Life Institute per mettere al bando i sistemi d’arma autonomi e al questionario di PAX la risposta ufficiale di IBM è stata che non sono all’attivo progetti di ricerca e sviluppo in questo specifico ambito. Intel – top player mondiale nel settore dei microprocessori – collabora dal 2017 con la DARPA per sviluppare una piattaforma di computazione per algoritmi di IA e machine learning; inoltre, sta investendo cifre considerevoli nella ricerca sui droni (UAV, unmanned aerial vehicles) ufficialmente per scopi civili (ispezioni industriali, sorveglianza e mappatura) ma con possibili applicazioni militari: per esempio, il sistema Shooting Star consente a un singolo pilota di lanciare uno sciame di droni che resta connesso senza bisogno di GPS, tecnologia molto ricercata in ambito militare.
Sul versante dei software IA, da tempo la NATO è al lavoro per integrare la realtà virtuale e aumentata e soluzioni IA nei suoi sistemi di terra, anche se finora con modesti risultati. Comunque, agli inizi del 2019 la US Air Force ha investito cinque milioni in startup in fase di lancio in questi settori, con l’obiettivo di giungere alla firma di veri e propri contratti di fornitura. Una di queste, Affectiva, che sta lavorando su IA che comprendano le emozioni umane, ha rifiutato un finanziamento della CIA per impiegare questi algoritmi nei suoi programmi di intelligence. Ben diverso il rapporto tra CIA e Palantir, la compagnia di Peter Thiel (il celebre venture capitalist della Silicon Valley, consigliere di Trump) che sviluppa algoritmi predittivi; Palantir è stata abbondantemente foraggiata da In-Q-Tel, il fondo di venture capital della CIA, e nel marzo 2019 è stata resa pubblica la stipula di un contratto di 800 milioni di dollari tra l’esercito americano e Palantir per lo sviluppo e il dispiegamento di un software IA di supporto alle operazioni in teatri di combattimento; già nel 2016 un altro contratto da oltre 200 milioni di dollari era stato firmato tra i due enti per tecnologie a supporto del Comando Operazioni Speciali. Anche Anduril, altra compagnia fondata nel 2017 foraggiata da Thiel (che sembra avere un debole per i nomi provenienti dal Signore degli anelli), lavora col Pentagono: il suo sistema Lattice è pensato per fornire all’esercito una visuale delle linee del fronte di combattimento, usando machine vision, IA e reti mesh per identificare potenziali target e guidare i droni nei teatri di guerra. Il sistema è stato già dispiegato su diversi punti della frontiera americana e in altre basi avanzate. Altre compagnie che mettono a disposizione le loro tecnologie IA per le forze armate sono SparkCognition (statunitense), Montvieux (britannica), EarthCube (francese), Neurala (statunitense).
In Cina sono diverse invece le compagnie attive nel settore del pattern recognition che lavorano con il governo per finalità di sicurezza, in particolare nel riconoscimento facciale: è il caso di Megvii, il cui sistema è usato da Alibaba per i pagamenti digitali, che lavora con il Ministero della Pubblica Sicurezza per “schedare” tutti i cittadini cinesi; SenseTime, i cui sistemi sono usati da diversi dipartimenti della polizia cinese (pur avendo deciso di vendere le proprie quote in un’analoga compagnia attiva nella regione dello Xinjiang per l’identificazione dei cittadini di minoranza uigura); Yitu, impiegato dalla polizia cinese in oltre 300 città e che nel febbraio 2018 ha siglato un contratto con la polizia malese.
Sul versante dei velivoli autonomi e delle tecnologie di sciame, sono moltissime le compagnie che operano in questo ambito, soprattutto per lo sviluppo di droni commerciali, ma non mancano quelle esclusivamente militari, come le americane General Atomics e AeroVironment e il China Aerospace Science and Technology Corp. Diverse compagnie stanno lavorando per potenziare l’autonomia dei velivoli nell’identificazione di bersagli a terra e nella presa di decisioni, nonché nella gestione di sciami di droni senza controllo umano. La britannica Animal Dynamics opera in questo settore sviluppando tecnologie per scopi umanitari nella gestione dei disastri ma anche per finalità militari, e i suoi sistemi sono stati impiegati in esercitazioni congiunte USA-UK. Accelerated Dynamics ha invece sviluppato un software di volo autonomo basato sui principi dei videogiochi di simulazione, che può essere usato per finalità militari, mentre l’israeliana Airobotics avrebbe fornito droni di pattugliamento per il confine tra Stati Uniti e Messico. Similmente, Shield AI lavora con il Pentagono e il Dipartimento per la Sicurezza Interna attraverso il suo drone Nova che può operare in autonomia in missioni di rilevamento e riconoscimento dei bersagli e generare mappe anche senza GPS. L’Unione europea sta lavorando al progetto Roborder per dispiegare sciami di droni autonomi nel monitoraggio delle frontiere, sebbene il suo project manager assicura che la tecnologia si limiterà a rilevare se i target sono esseri umani o meno, senza operare riconoscimento facciale. Nel marzo 2019 un consorzio guidato dalla britannica Blue Bear ha firmato un contratto con il governo inglese per sviluppare una tecnologia a sciame per il Ministero della Difesa. Altri casi riguardano le tecnologie di contraerea verso i droni, come il DroneBullet di AerialX, un piccolo drone kamikaze che intercetta e distrugge i droni nemici, il sistema Titan di Cital Defense e l’intercettore di Airspace Systems.
Ce n’è anche per i robot da terra, come quelli dell’israeliana Roboteam impiegati in operazioni anti-tunnel nella striscia di Gaza e acquistati dall’US Air Force, o il Dogo e il Pitbull sviluppati da General Robotics, robot da combattimento che possono essere usati nella guerriglia urbana e sono anche in grado di identificare e abbattere droni nemici (il Dogo tuttavia non è autonomo, ma tele-guidato). Anche i software di guida autonoma che molte compagnie stanno cercando di installare sui veicoli di trasporto civili possono avere importanti applicazioni militari.
A conclusione del rapporto, PAX ha pubblicato alcune raccomandazioni alle aziende private per ridurre i rischi di una nuova corsa agli armamenti legata alle applicazioni militari delle nuove tecnologie di IA, machine learning, guida autonoma e riconoscimento facciale. La prima chiede un loro impegno pubblico a non contribuire in alcun modo allo sviluppo di armi autonome; la seconda raccomandazione chiede l’adozione di una policy che assicuri che ogni nuovo progetto sia prima valutato da un apposito comitato etico, che ogni tecnologia impiegata dall’azienda sia valutata per comprenderne finalità e possibili utilizzi, che in ogni contratto con enti pubblici sia inserita una clausola che affermi che la tecnologia sviluppata non venga impiegata in sistemi d’arma autonomi; l’ultima raccomandazione chiede che tutti i dipendenti siano informati riguardo le finalità del loro lavoro e ne possano discutere liberamente insieme ai vertici dell’azienda.