Faut-il interdire ou encadrer l’essor des «robots tueurs»?

© Albert Momius / Archives

© Albert Momius / Archives

 

Plus de cent responsables d’entreprises de robotique ou spécialisées dans l’intelligence artificielle, dont le milliardaire Elon Musk, constructeur de la voiture Tesla, ont adressé une lettre ouverte à l’ONU pour alerter sur le danger que constituent les armes autonomes ou «robots tueurs». Avançant à petits pas depuis quatre ans, la discussion sur leur réglementation a connu, en cette fin d’année, une nouvelle impulsion. La Cité a interrogé trois spécialistes de ces armes, dont l’utilisation incontrôlée pourrait déboucher sur des conflits plus meurtriers que les précédents.

 

Luisa Ballin
Correspondante à l’ONU
Décembre 2017

«Une menace croissante.» C’est par ces mots qu’Antonio Guterres, secrétaire général de l’ONU, dénonce le côté obscur et incontrôlé de l’intelligence artificielle appliquée à la cyber-sécurité. L’hypothèse de futurs conflits armés menés par des armes autonomes ou «robots tueurs», dégagés de tout contrôle humain, ne cesse de hanter les esprits. Développées depuis une trentaine d’années, elles sont, à l’instar des drones, de plus en plus utilisées.

Dans son intervention à l’Assemblée générale, le 19 septembre dernier, Antonio Guterres émet une double mise en garde: «Les progrès dans le cyberespace peuvent autonomiser les personnes, mais ce qu’on appelle le ‘dark web’ montre que certains utilisent ce potentiel pour nuire et asservir.  En outre, l’intelligence artificielle peut avoir un effet dramatique sur le marché du travail, tandis que l’ingénierie génétique cause des problèmes éthiques non résolus.»  

Selon le secrétaire général des Nations Unies, les gouvernements et les organisations internationales ne sont pas prêts à faire face à cette évolution. «Il faut une nouvelle réflexion stratégique et éthique et une nouvelle réglementation», affirme-t-il, assurant que l’ONU constitue l’enceinte dans laquelle les États, la société civile, les entreprises et les universités doivent se réunir pour envisager la voie à suivre. Suivant ce précepte, l’ONU a organisé, en novembre dernier à Genève, une réunion d’experts venus d’une septantaine de pays pour débattre des Systèmes d’armes létales autonomes, dans le cadre de la Convention sur certaines armes classiques (lire encadré à la fin du texte).

Louable intention. Mais que peut faire l’ONU pour encadrer le développement et l’utilisation des «robots tueurs»? La Cité a interrogé trois experts. Leurs analyses montrent le décalage existant entre le développement de ces armes et le débat sur leur réglementation.

 

«Une nouvelle technologie
ne change pas vraiment
le cours d’un conflit»

Pour Alexandre Vautravers, expert suisse en sécurité, qui a travaillé sur les rapports entre guerre et technologie, le problème est mal posé: «Une nouvelle technologie ne change pas vraiment le cours d’un conflit, car lorsqu’elle arrive, elle est généralement mal employée. Des contre-mesures sont mises au point. Celui qui a perfectionné une nouvelle technologie et qui a dépensé beaucoup de temps et d’argent perd rapidement cet avantage. Ce qui pose problème, ce ne sont pas les mal nommés ‘robots tueurs’, mais la manière dont la société utilise ces nouvelles technologies et ces ‘robots’.»

Alexandre Vautravers. © DR / 2017

Alexandre Vautravers. © DR / 2017

Le responsable du nouveau Master en sécurité de l’Université de Genève considère que les armées sont représentatives des sociétés dans lesquelles elles évoluent: «Aujourd’hui, les jeunes jouent aux jeux vidéos — ce qui explique la multiplication des écrans et des missiles guidés dans les armées occidentales. Les gens s’habituent aux technologies qui sont utilisées. Dans une société dure, cruelle où l’on bat les enfants, où l’on brime les gens et où on les frustre, vous aurez des kamikazes

Alexandre Vautravers s’intéresse également aux problématiques de désarmement, vaste sujet traité à Genève au sein de la Conférence des Nations Unies sur le désarmement qui, depuis plus de vingt ans, peine à obtenir des résultats. «Dans les mécanismes du processus de désarmement, il s’agit d’encadrer l’emploi des armes et l’usage de la force. La Charte de l’ONU prévoit d’ailleurs trois cas où la guerre est légitime. Dans le cas qui nous intéresse ici, il est difficile d’interdire les ‘robots tueurs’ lorsqu’on n’est pas capable de les définir. Le Conseil de sécurité de l’ONU a émis plusieurs résolutions condamnant le terrorisme mais n’a jamais arrêté de définition», analyse-t-il du haut de son expérience au sein de l’UNIDIR, l’Institut des Nations Unies pour la recherche sur le désarmement.

Selon lui, pour transformer l’idée d’interdire les «robots tueurs» en résolutions applicables, il est nécessaire, au préalable, de se débarrasser des faux concepts qui polluent le débat. «La notion même de ‘robots tueurs’ est fallacieuse. C’est du marketing inventé par les ONG», déclare Alexandre Vautravers. Qui poursuit: «Cela induit les gens en erreur, car lorsque vous parlez de ‘robots tueurs’, vous imaginez une machine ayant une forme humaine, en référence à Terminator ou Robocop. Mais ce n’est pas cela qui est en train d’être créé. L’intelligence artificielle ou les systèmes automatisés ne ressemblent pas à cela. Ils ne prennent pas nécessairement forme ‘humaine’.»

L’expert évoque à cet effet les armes automatisées actuellement en usage: «Ces systèmes fonctionnent en réseau. Le concept de ‘guerre réseau-centrique’ (NEO) distingue trois éléments: les capteurs, les effecteurs et les centres de commandement. Ces systèmes ne parlent pas, ne tournent pas la tête. Nous sommes en dehors de cette image de robot tueur. Lorsque l’on dit qu’il faut interdire les robots tueurs, il faut définir de quoi on parle.» Et de préciser: «Le véritable terme, admis au sein de la communauté internationale, est ‘l’armement (weaponization) de systèmes hautement automatisés’. Il y a donc toujours un être humain dans la boucle, même quand un système d’armes peut être activé en mode manuel, semi ou entièrement automatique. À ce moment, l’opérateur ou le commandant tactique — l’être humain — prend la responsabilité de ce qui va se passer ensuite. Il est donc tenu pour responsable et doit faire en sorte que les avertissements et que les procédures soient en règle. Il en va de même pour un commandant qui donnerait une mission à des subordonnés humains

 

«La gouvernance est restée statique, elle n'a pas mesuré le risque qui existe»

Anja Kaspersen, la directrice du Bureau des affaires de désarmement des Nations Unies à Genève (UNODA) et secrétaire générale adjointe de la Conférence du désarmement, estime que, si les 193 États membres de l’ONU relèvent les aspects positifs des technologies numériques, ils commencent à peine à évaluer aussi les risques réels qu’elles engendrent. L’experte s’inquiète de la lenteur de la communauté internationale à agir pour encadrer le développement des systèmes automatisés.

Anya Kaspersen. © Courtesy ITU / 2017

Anya Kaspersen. © Courtesy ITU / 2017

Une inquiétude qui, au fil des ans, a fait tache d’huile: «Tout le monde est préoccupé par cela. C’est pourquoi le secrétaire général de l’ONU a focalisé son attention sur ce thème. La discussion ne doit pas seulement commencer à l’ONU, elle doit également avoir lieu au niveau global, national, régional et avec les ingénieurs et les spécialistes en sciences et technologies de l’internet

L’adoption des nouvelles technologies numériques se développe alors que «la gouvernance est restée statique, elle n’a pas mesuré le risque qui existe», analyse-t-elle.  «Les gens veulent savoir comment créer un meilleur équilibre entre l’innovation et comment faire en sorte que la gouvernance progresse à la même échelle.» Quelle que soit la réglementation qui sera mise en place, les décideurs politiques doivent comprendre l’impact qu’ont ces technologies automatisées. Et être au clair sur ce qu’ils doivent règlementer, déclare Anja Kaspersen.

 

«Le regard de l’industrie mérite aussi d’être pris en compte»

Si les États sont en première ligne pour débattre de l’avenir de l’intelligence artificielle, pour Alice Guitton, ambassadrice de France auprès de la Conférence du désarmement, il est utile que l’industrie puisse, comme la société civile plus largement, être associée à cette réflexion, à travers les canaux nationaux comme dans un cadre multilatéral: «Le débat qui a lieu à la Convention sur l’interdiction ou la limitation de l’emploi de certaines armes classiques concerne des systèmes autonomes qui pour l’instant n’existent pas. Nous sommes sur un sujet prospectif. Pour parvenir à caractériser un tel système et tenir compte de l’évolution technologique et scientifique, le regard de l’industrie mérite donc d’être pris en compte

Alice Guitton. © Alberto Campi

Alice Guitton. © Alberto Campi

L’ambassadrice rappelle que la plupart des systèmes impliquant l’intelligence artificielle seront à la fois civils et militaires. «L’intelligence artificielle ne m’inquiète pas en tant que telle. Elle offre d’importantes opportunités. Il est important que l’on puisse se projeter dans l’avenir, prendre en compte les avancées technologiques et s’y préparer à travers une réflexion inclusive et transparente impliquant tous les pays. Et s’assurer que le droit international humanitaire continue à s’appliquer pleinement et d’une manière rigoureuse», explique l’experte française.

Elle exclut pour l’heure que certaines armes puissent ne plus être contrôlées par l’homme et devenir complètement autonomes par le biais d’algorithmes: «Les avancées que nous avons identifiées en matière d’intelligence artificielle sont ciblées, par exemple dans les capacités de reconnaissance faciale ou de réalisation de fonctions motrices essentielles qui peuvent être accomplies par des machines. Nous sommes donc loin d’un système qui serait pleinement autonome et capable de s’adapter à des situations complexes

Pour la France, affirme Alice Guitton, «les choses sont claires, notamment sur le plan militaire, il n’y a aucun intérêt à avoir un système létal pleinement autonome qui ne pourrait pas s’inscrire dans une chaîne de commandement où l’homme continuerait d’avoir la décision ultime pour engager la force militaire contre des êtres humains».

Si avec toutes les cautèles nécessaires, les armées faisaient usage d’armes autonomes, quelles pourraient être les conséquences pour les populations civiles? «Le droit international et notamment le droit international humanitaire qui pose des principes essentiels en termes de protection des populations civiles sera mis en œuvre», rassure-t-elle. «La France ne déploierait pas de systèmes qui ne respecteraient pas ces conditions. Nous œuvrons à une compréhension de l’ensemble de la communauté internationale par rapport à cet enjeu et au rappel de la consolidation du droit international pour s’assurer que de telles situations ne se produisent pas. Nous souhaitons que des avancées pratiques et concrètes puissent être envisagées ainsi que nous l’avons proposé conjointement avec l’Allemagne

Ne serait-il plus prudent d’interdire ces systèmes autonomes comme le demandent certaines ONG? «Pour l’instant, nous n’avons pas de définition partagée de ces systèmes et c’est de plus un sujet prospectif. On ne dispose pas de telles technologies. Et on ne voit pas d’intérêt militaire à développer ou à déployer de telles capacités. Proposer une interdiction paraît donc prématuré. Il faut que la communauté internationale parvienne à un accord sur les caractéristiques essentielles des systèmes dont on parle», conclut-elle. Pour l’instant, la question du contrôle de ces armes est loin d’être tranchée.


Les ONG montent
en puissance

Genève est l’antre de la réflexion sur l’intelligence artificielle. Après la naissance, il y a deux siècles, sur les hauteurs de Cologny, du mythe de Frankenstein, ouvrage commis par Mary Shelley imaginant un «Prométhée moderne», la Cité de Calvin abrite, depuis 2013, les discussions sur les dimensions technologique, juridique et politique dans le domaine des Systèmes d’armes létales autonomes.

En novembre dernier, pendant une semaine, des experts représentant plus de 70 pays, réunis sous l’égide de l’ONU, ont débattu de ces armes autonomes ou «robots tueurs». Le cadre était celui de la Convention sur certaines armes classiques (CCW) où, il y a quatre ans, la discussion a été entamée un peu en catastrophe. Pour faire pression sur ce débat et le cadrer vers l’interdiction pure et simple, la Campaign to stop Killer Robots promues par des ONG, dont Human Rights Watch, Pax, ou l’International Committee for Robot Arms Control, a vu le jour en 2015.

Ce camp a reçu, il y a quelques semaines, un soutien aussi inattendu que retentissant: celui d’une centaine d’entrepreneurs du secteur de l’intelligence artificielle, dont le fondateur de Tesla, Elon Musk, et le cofondateur de Skype, Jaan Tallinn. Ils se sont adressés aux Nations Unies exprimant toute leur inquiétude face au développement de ces armes dont l’utilisation pourrait déboucher sur des conflits plus meurtriers que les précédents.

Au sein de la CCW, le mois dernier, la France et l’Allemagne ont proposé l’établissement d’une définition de travail des armes autonomes et l’adoption d’une déclaration politique qui manifesterait l’accord des états sur deux points: les humains doivent continuer à prendre les décisions finales dans l’emploi de la force létale, et le droit international humanitaire s’applique totalement aux armes autonomes. Le tandem franco-allemand, soutenu par la Suisse, prône la transparence, l’adoption d’une déclaration politique et un code de conduite.

Des divergences demeurent cependant sur l’objectif final, avec une division entre les états attachés aux mesures pratiques, à l’image des propositions franco-allemandes, et ceux appelant à une interdiction immédiate et totale des armes autonomes, comme cela a été fait il y a vingt ans avec les lasers aveuglants. Rendez-vous est pris l’année prochaine pour trancher ce nœud.

Répondant, en marge de la CCW, aux questions de La Cité, le CICR craint que des systèmes d’armes entièrement autonomes soient déployés avant que des règles fondées sur le droit international humanitaire n’aient été adoptées pour en réglementer l’utilisation: «Au vu du rythme auquel évoluent les systèmes d’armement robotisés, qui sont de plus en plus autonomes, il ne fait aucun doute pour le CICR que la communauté internationale doit de toute urgence fixer des limites face aux questions juridiques et éthiques fondamentales qui se posent. Le CICR est catégorique: toutes les armes, qu’elles soient ou non nouvelles, doivent pouvoir être utilisées conformément aux règles du droit international humanitaire», affirme Ewan Watson, chef de la communication.

À la CCW, poursuit-il, «les discussions ont confirmé l’existence d’un large consensus parmi les États sur la nécessité de préserver un contrôle humain sur les systèmes d’armes et sur le recours à la force pour garantir le respect du droit international humanitaire et l’acceptabilité éthique». Et de relever un pas en avant: «Les États reconnaissent que la question centrale réside dans les obligations et responsabilités qui sont celles de l’être humain dans les décisions de recours à la force.» Le plus gros du travail consiste maintenant «à déterminer ce qu’un contrôle humain effectif signifie dans la pratique et où des limites à l’autonomie des systèmes d’armes doivent être fixées».