Geheimzinnig contract met Pentagon stort Google in existentiële crisis
Mag je kunstmatige intelligentie (AI) inzetten voor militaire toepassingen? Deze vraag verhit de gemoederen bij Google, nu het bedrijf een controversieel contract heeft gesloten met het Pentagon. Google draagt zo bij aan automatische beeldherkenning voor drones boven vijandig gebied.
Update: op 2 juni werd bekend dat Google het contract met het Pentagon niet verlengt. Het contract loopt in 2019 af.
Don’t be evil. Vanaf de begindagen als zoekmachine wist Google met deze mantra het publiek gunstig te stemmen, en kon het zich afzetten tegen de "enge" en oppermachtige concurrent Microsoft. In april dit jaar verdween het motto ineens uit Googles gedragscode, op een voetnoot na. En nu het concern een pact heeft gesloten met de duivel – zoals Defensie door sommigen wordt gezien – ontpopt de deal zich tot een interne splijtzwam.
Het gaat om een voor Google maar schamel contractje van zo’n 9 miljoen dollar. Toch heeft de overeenkomst met het Amerikaanse ministerie van Defensie Google, in de woorden van The New York Times, in een "existentiële crisis" gestort. De krant kreeg inzage in interne correspondentie van Google over de Pentagon-deal.
Gevoelig onderwerp
De meningen over de deal (Googles eerste met het Pentagon) bleken meteen al verdeeld, want: "Gewapende AI is een van de gevoeligste onderwerpen binnen AI – misschien wel het allergevoeligste. Dit werkt als een rode lap op een stier voor de media, die dit zullen aangrijpen om Google te beschadigen." Aan het woord is Fei-Fei Li van Google, een van de sterren op het gebied van kunstmatige intelligentie bij het bedrijf. Li raadt haar superieuren per interne mail dringend aan niet naar buiten te treden met verhalen over de combinatie van AI en Defensie: dodelijk.
Inmiddels is de discussie in alle hevigheid losgebarsten. Een hoofdrol daarin is weggelegd voor het ambitieuze project Maven, dat het Amerikaanse ministerie in sneltreinvaart aan de voorhoede van de AI-ontwikkelingen moet brengen. De vroegere naam voor Maven geeft aan waar het om draait: the Algorithmic Warfare Cross Functional Team. Oftewel: het inzetten van algoritmes bij oorlogsvoering.
Dit jaar heeft Maven een budget van ruim 130 miljoen dollar. Een van de speerpunten is de inzet van geavanceerde patroonherkenning bij drone-beelden. Met behulp van de laatste inzichten op het gebied van zelflerende systemen moeten de hogeresolutiebeelden die militaire drones maken, kunnen worden geanalyseerd. Hoewel ze worden gemaakt vanaf zeer grote hoogte, soms 18 duizend meter, moet de software razendsnel objecten op een foto boven IS-gebied kunnen herkennen: voertuigen, mensen, gebouwen. De programmatuur wordt nu al ingezet, maar het uiteindelijke doel is volgens technologiemagazine Wired dat die slimme algoritmen in de drones worden geïntegreerd. De stap naar drones die op eigen houtje beslissingen kunnen nemen en doelen uitschakelen, komt daarmee dichterbij, vrezen critici binnen Google. De exacte rol van Google bij dit alles is nog onduidelijk.
Te verwachten
Dat het Pentagon zijn oog op Google heeft laten vallen, is volkomen logisch, zegt Cees Snoek, hoogleraar computer science aan de Universiteit van Amsterdam en specialist in beeldherkenning. "Er is wereldwijd een groot tekort aan AI-experts. Google en collega-grootmachten Facebook en Amazon lokken de grootste talenten weg met jaarsalarissen van 2 miljoen. Weinig mensen snappen AI écht. En daar komt bij: Google beschikt over gratis software."
Die software van Google heet TensorFlow. Ze kan ingezet worden om algoritmen te trainen in het herkennen van objecten. Defensie gebruikt de werkwijze dus voor de door drones gemaakte beelden en Google verleent ondersteuning op maat. In de basis is het dezelfde techniek als die in Google Photo bijvoorbeeld het automatisch herkennen van katten mogelijk maakt. Dit lukt door de software te trainen met grote hoeveelheden afbeeldingen van (andere) katten. Hetzelfde gebeurt nu voor IS-doelwitten.
Ook al benadrukt Google tegenover Wired dat zijn AI-software niet wordt ingezet voor offensieve doeleinden, veel werknemers zijn er niet gerust op. Sterker nog: ongeveer vierduizend Google-werknemers hebben volgens The New York Times al een petitie getekend tegen het gebruik van AI voor militaire toepassingen. De interne discussiefora – waar werknemers normaliter babbelen over de kwaliteit van de kantine – raken haast overbelast door verhitte debatten. Een stuk of tien ‘Googlers’, meldde het techblog Gizmodo al eerder, zou zijn ontslag hebben ingediend.
Ondertussen proberen Googlekopstukken de splijtzwam de kop in te drukken. Zo zou medeoprichter Sergey Brin volgens The New York Times hebben gezegd dat hij de controverse begrijpt, maar ook dat hij het beter voor de wereldvrede vindt als militairen samenwerken met een bedrijf als Google in plaats van alleen met defensie-aannemers.
Indirect verantwoordelijk?
Snoek snapt het interne ongemak goed. "Ook al haalt Google echt niet de trekker van een drone over, dit is geen lekker verhaal. Ook omdat het volstrekt onduidelijk is waar de verantwoordelijkheid van Google begint en waar ze ophoudt."
Het gebrek aan openheid staat in schril contrast met het enthousiasme waarmee Googles Britse AI-zuster DeepMind (van beide is Alphabet het moederbedrijf) nog maar kort geleden de overwinning van AI op ’s werelds sterkste go-speler verwelkomde. Van de oprichters van hetzelfde DeepMind is bekend dat zij herhaaldelijk waarschuwen voor het gevaar dat AI verkeerd wordt ingezet.
Ook Eric Postma, hoogleraar kunstmatige intelligentie aan de Universiteit Tilburg, stoort zich aan het gebrek aan transparantie. "Ik ben er heel erg voor dat alle kennis vrij beschikbaar is. Dat komt de wetenschap en de wereldvrede ten goede. Maar ja, ik snap ook dat dit haaks staat op wat Defensie wil."
Postma nuanceert wel de dystopische visioenen die rond AI altijd weer de kop opsteken: "Het angstbeeld van autonoom opererende machines die zelfstandig hun dodelijke raketten afvuren, klopt niet. De mens neemt de uiteindelijke beslissing."
Nóg wel, haast Postma zich te zeggen: we gaan wel die kant op. Maar op dit moment is het vooral een imagoramp voor Google, benadrukt hij. "Met Google dreigt hetzelfde te gebeuren als eerder met Facebook. Google heeft lang de reputatie van sympathiek techbedrijf gehad dat alleen maar goed doet. Dat is niet meer vol te houden. Dat is ook inherent aan het volwassen worden. De discussie is in het gezicht van Google ontploft. Terecht. Het druist in tegen alles wat Google naar buiten toe uitdraagt."
Werknemers verwachten intussen van de top kraakheldere richtlijnen over het gebruik van AI voor militaire toepassingen. Naar verwachting komt Googles bestuursvoorzitter Sundar Pichai hier over enkele weken mee naar buiten.