Les robots sont-ils capables de raisonnement éthique? «L'usage d'armes de longue distance, à faible niveau de contrôle [humain, ndlr] ou connectées à des capteurs placés sur le terrain, mène à une automatisation du champ de bataille où le soldat joue un rôle toujours plus réduit... Toutes les prédictions s'accordent sur le fait que si l'homme ne domine pas la technologie mais la laisse le dominer, il sera détruit par celle-ci.» Déclaration du Comité international de la Croix-Rouge (1987) Nous avons vu dans une contribution précédente la puissance des drones qui peuvent être utilisés pour le meilleur et surtout pour le pire. En face du kamikaze, le drone du pauvre la façon de faire la guerre a changé totalement depuis que les puissances occidentales ne se font plus la guerre entre elles. La doctrine est celle de «zéro mort» chez le puissant et le maximum de morts chez l'adversaire. Cette technologie infernale concernant la mort est le drone avec des noms qui font froid dans le dos: drone predator, drone furtif, drone reaper (faucheuse). Dans cette contribution, nous allons décrire rapidement les prouesses remarquables pour la technologie des robots qui rendent service à l'humanité ne le «réparant», et nous allons rapporter les interrogations des scientifiques et des stratèges militaires quant au libre arbitre des robots dans des situations spéciales où ils devront faire des choix qui ne sont pas prévus par des algorithmes des ordinateurs embarqués à leur bord. Les prouesses actuelles: des merveilles On se rappelle de l' androïde étonnant et un peu froid dans le dos de Boston Dynamics La Nasa a mis en place un robot humanoïde de 1,90 m de hauteur qui pourrait un jour vous extraire à partir d'un bâtiment en feu et peut même faire la première promenade sur le sol martien. Le robot Valkyrie est conçu pour être capable de marcher avec assurance sur un terrain difficile, ce qui le rend parfait pour les scénarios post-catastrophe. Valkyrie est recouvert de matériaux souples afin qu'il se sente plus réconfortant pour les humains qui le touchent. Il est également parsemé de caméras qui pourraient aider les opérateurs humains pour l'étude des milieux environnants et les survivants sur place dans des scènes post-catastrophe. Et tandis que l'Atlas est actuellement alimenté par une attache de câble Walkyrie est déjà en marche l'alimentation électrique sac à dos».(1) L'impressionnant bras robotisé d'un batteur amputé Privé d'avant-bras droit, Jason Barnes a continué de pratiquer la batterie grâce à des prothèses. La dernière en date est à la fois capable d'obéir finement aux mouvements de son biceps et de s'adapter à la musique environnante. Avec cette intelligence extra artificielle, l'humain et la machine se combinent pour faire de Barnes une sorte de «batteur surhumain», commente Gil Weinberg le directeur du programme de recherche. Il pense que les robots pourraient nous aider à faire de la musique qu'un humain seul ne pourrait pas. Ce n'est pas seulement un grand pas en avant pour les amputés mais aussi pour les batteurs qui cherchent à utiliser la technologie. Jason Barnes va utiliser la prothèse lors d'un concert le 22 mars lors du festival de sciences d'Atlanta, le test ultime pour tout ce qui touche à la musique. Il s'y trouvera au côté d'un robot dansant nommé Shimi. Martin Koppe 07 mars 2014» (2) Avènement des drones: pour le pire et pour le meilleur Dans une contribution, j'avais décrit les heurs et les malheurs (pour les victimes) des drones. Une technologie remarquable de prouesses pour le bien mais surtout pour le mal. Les drones qui ont été utilisés pour semer la mort à distance en appuyant sur un joystick connaissent depuis quelque temps des applications civiles. Les forces armées des Etats-Unis disposent, depuis les années 1990, de la plus grande flotte de drones en service... En janvier 2010, l'inventaire est de 6819 drones de tout type, dont environ 200 appareils à haute altitude Hale (Predator, Reaper, Global Hawk...), et les états-majors réclament 800 drones à haute altitude pour l'avenir. L'US Navy consacrera par exemple, un budget à ces drones de 2 milliards de dollars américains pour 2013-2015 et qui devrait monter à 7 milliards en 2020.(3) Quelle est l'éthique en pareil cas? Où est la morale? Pour Grégoire Chamayou, chercheur en philosophie au Centre national de la recherche scientifique (Cnrs) à Lyon: «L'usage de ces engins sans pilote, qui bouleverse les règles de la guerre, ne suscite pas de rejet massif dans l'opinion en Occident, alors que les attentats-suicides apparaissent comme le sommet de la barbarie. Le philosophe Walter Benjamin, poursuit-il, a réfléchi sur les drones, sur les avions radiocommandés que les penseurs militaires du milieu des années 1930 imaginaient déjà. Ce qui les distinguait à ses yeux était moins l'infériorité ou l'archaïsme de l'une par rapport à l'autre que leur «différence de tendance»: «La première engageant l'homme autant que possible, la seconde le moins possible. L'exploit de la première, si l'on ose dire, est le sacrifice humain; celui de la seconde s'annoncerait dans l'avion sans pilote dirigé à distance par ondes hertziennes.» D'un côté, les techniques du sacrifice; de l'autre, celles du jeu. D'un côté, l'engagement intégral; de l'autre, le désengagement total. D'un côté, la singularité d'un acte vivant; de l'autre, la reproductibilité indéfinie d'un geste mécanique. D'un côté, le kamikaze, ou l'auteur d'attentat-suicide, qui s'abîme une fois pour toutes en une seule explosion; de l'autre, le drone, qui lance ses missiles à répétition comme si de rien n'était. Alors que le kamikaze implique la fusion complète du corps du combattant avec son arme, le drone assure leur séparation radicale. Kamikaze: mon corps est une arme. Drone: mon arme est sans corps. Les kamikazes sont les hommes de la mort certaine. Les pilotes de drone sont les hommes de la mort impossible. (...) kamikaze et drone, arme du sacrifice et arme de l'autopréservation, ne se succèdent pas de façon linéairement chronologique, l'un chassant l'autre comme l'histoire, la préhistoire. Ils émergent au contraire de façon conjointe, comme deux tactiques opposées qui historiquement se répondent.(..) Drone et kamikaze se répondent comme deux motifs opposés de la sensibilité morale. Deux ethos qui se font face en miroir, et dont chacun est à la fois l'antithèse et le cauchemar de l'autre.» Les militaires américains veulent enseigner aux robots le bien et le mal L'inquiétude concernant les éventuels comportements erratiques des robots est réelle: «Est-ce que les robots sont capables de raisonnement moral ou éthique? L'Office of Naval Research attribuera 7,5 millions de dollars de l'argent de la subvention sur cinq ans à des chercheurs de l'université de Tufts, Rensselaer Polytechnic Institute, Brown, Yale et Georgetown à explorer comment construire un sens du bien et du mal dans les systèmes robotiques autonomes. «Même si les systèmes sans pilote d'aujourd'hui sont«muets»par rapport à un homologue humain, des progrès sont faits rapidement pour intégrer plus d'automatisation à un rythme plus rapide que ce que nous avons vu auparavant,» Paul Bello, directeur du programme de sciences cognitives à l'Office of Naval Research dit Defense One. «Même si ces systèmes ne sont pas armés, ils peuvent encore être obligés de prendre des décisions morales», a déclaré Bello.» (5) Que se passera-t-il le jour où un robot tuera un être humain? Après les drones et leurs méfaits, les robots. Xavier de La Porte rapporte les interrogations des scientifiques et des militaires sur la notion de bien et de mal d'un robot. Nous l'écoutons: «Les machines peuvent-elles être morales? Les robots sont-ils capables de raisonnement éthique? C'est la question que se posait récemment la revue de The Atlantic, en écho à un débat qui agite la recherche américaine. Pour l'instant, le contexte de cette question est d'abord militaire et se concentre autour des robots qui pourraient prendre seuls la décision de tirer. Eh oui, les militaires y travaillent, construire des robots qui décident seuls, sans intervention humaine, de tuer. Aujourd'hui, les Etats-Unis interdisent le robot tueur et des systèmes semi-autonomes ne peuvent pas identifier et frapper des cibles qui n'auraient pas été sélectionnées par un opérateur humain. Mais, expliquent les militaires, même à des systèmes non armés vont se poser des questions morales. Par exemple, en cas de catastrophe, un robot peut se trouver dans la position de décider qui évacuer en premier, qui traiter en premier, et donc se trouver face à un choix moral. Il est donc nécessaire que les machines soient dotées d'une sorte de raisonnement éthique qui leur permette d'agir. Le problème, c'est: comment implémenter quelque chose d'aussi abstrait que la morale dans un système technique?» (6) «Certains avancent que ces robots, et notamment sur un champ de bataille, seraient capables d'agir plus moralement que les êtres humains, parce qu'ils sont capables d'envisager plus de situations et qu'ils sont capables de suivre à la lettre les règles d'engagement. Pour d'autres, ça n'aboutira pas à la constitution d'un sentiment moral chez les robots. Pour avoir un sens moral, il faut comprendre autrui, savoir ce que c'est que souffrir. On peut implémenter dans une machine quelques règles basiques de morale, mais ça ne constitue pas pour autant un sens moral, la machine aura pour moralité celle de l'être humain qui l'a programmée.»(6) «Xavier de La Porte poursuit en citant un cas simple: «Un tram avance sur une voie, s'il continue tout droit, il va tuer cinq personnes qui sont sur la voie. Pour éviter cela, il suffit de le dévier sur une autre voie, où il tuera une seule personne qui se trouve là. De l'extérieur, le calcul est simple, on sauve quatre personnes en déviant le tram, c'est donc la meilleure solution. Oui, mais, moralement, il y a une différence entre laisser faire quelque chose (ce qui équivaut en l'occurrence à tuer les cinq personnes), et tuer volontairement (en l'occurrence, sacrifier la personne qui se trouve sur l'autre voie). Et puis, on peut compliquer la situation en mettant cinq vieux d'un côté et un enfant de l'autre, ou en panachant les groupes... Un être humain va faire son choix en fonction de tout cela, mais dans une urgence qui rend excusable la décision. L'ordinateur n'est pas excusable. L'urgence n'a pas de sens pour une machine. (...) Etre doté d'un sens moral est-ce une première forme de conscience? Ce sont à la fois de magnifiques questions théoriques, et des questions pratiques qui se poseront très vite: que se passera-t-il le jour où un robot tuera un être humain?» (6) Comment sauver l'humanité de l'extinction Il n'est pas étonnant de ce fait que les Nations unies s'émeuvent et font un procès d'intention aux robots sur leur moralité... Philippe Vion-Dury nous rapporte les débats: «Un débat peu commun s'ouvre aujourd'hui et pour quatre jours à l'ONU: le développement et l'emploi sur les champs de batailles d'armes autonomes. (...) Les armes pleinement autonomes, plus souvent appelées «robots tueurs», sont des drones nouvelle génération capables d'effectuer une mission et de détruire des cibles sans aucune intervention humaine. A la différence des armes actuelles, pilotées et actionnées par la main humaine, fusse-t-elle à des milliers de kilomètres de l'engin, ces robots tueurs ont pour maître un algorithme. Fin 2012, une ligue de prix Nobel et d'associations de droits de l'homme avait lancé un appel à la mobilisation contre ces robots tueurs. L'ONG Human Rights Watch avait au même moment publié le rapport «Losing Humanity» qui annonçait les premières moutures opérationnelles de cette nouvelle génération de robots d'ici deux à trois décennies, Plus récemment, le professeur américain spécialiste de la robotique Noel Sharkey, présent cette semaine à l'ONU, avait lancé la campagne «Stop Killer Robots».(7) «Sauver des vies ou détruire l'humanité poursuit Philippe Vion-Dury? La justification du côté des laboratoires militaires est toujours la même: épargner des soldats en robotisant les forces armées, et pourquoi pas des vies si les algorithmes venaient à être suffisamment performants pour éviter «l'erreur humaine». De l'autre côté, nous avons les «antis» qui se divisent en trois catégories: les juristes: eux pointent du doigt l'incompatibilité de ces technologies avec plusieurs conventions internationales relatives au droit de la guerre et au droit humanitaire; les humanistes: leur argumentaire se fonde plus sur l'impossibilité de l'existence d'un «jugement humain» chez une machine, pouvant épargner des vies et faire preuve d'une conscience. Ils dénoncent généralement la distanciation du soldat et du terrain qui fait de la guerre un jeu, plus virtuel que réel; les Cassandres: ces derniers voient encore plus loin et s'inquiètent de cette délégation du pouvoir de vie et de mort à des machines toujours plus puissantes, toujours plus inter-connectées et plus autonomes. Ceux-là craignent clairement un scénario «Skynet», en référence à l'IA dans la série Terminator responsable de la quasi extinction de l'humanité».(7) En conclusion, il reste aux pays faibles de s'en remettre à la morale des conventions des Nations unies. L'article 36 du Protocole additionnel aux Conventions de Genève du 12 août 1949 écrit Philippe Vio-Dury oblige les Etats à évaluer la compatibilité d'une nouvelle technologie de l'armement avec les principes de droit international et humanitaire auxquels ils sont liés. Or le rapport «Losing Humanity» souligne que plusieurs règles de droit international pourraient contrevenir au développement des robots tueurs. (...) Le rapport appelle donc les Etats développant cet armement à respecter leurs obligations, c'est-à-dire «émettre des rapports juridiques détaillés sur toute technologie proposée ou existante qui pourrait conduire à de tels robots». Ces rapports permettraient, selon l'état d'avancement de la technologie, de mieux établir la compatibilité ou l'incompatibilité de ces robots avec les principes du droit humanitaire. Les rédacteurs du rapport eux, n'ont pas attendu les compte-rendus des Etats pour rendre leurs conclusions sur l'usage des robots tueurs: pour être conformes au droit humanitaire international, les armes pleinement autonomes auraient besoin, selon eux, «de qualités humaines dont elles manquent de façon inhérente». En particulier, de tels robots «n'auraient pas la capacité de se lier aux autres humains et comprendre leurs intentions». (...) Pour être conformes au droit humanitaire international, les armes pleinement autonomes auraient besoin, selon eux, «de qualités humaines dont elles manquent de façon inhérente». En particulier, de tels robots «n'auraient pas la capacité de se lier aux autres humains et comprendre leurs intentions».(8) 1. Kit Eaton http://www.fastcompany.com /3023297/ tech-forecast/nasas-6-foot-valkyrie-will-rescue-you-from-buildings 2. http://www.maxisciences.com/musique/l-impressionnant-bras-robotise-d-039-un-batteur-ampute_art32132.html 3. http://www.legrandsoir.info/avenement-des-drones-pour-le-pire-et-pour-le-meilleur.html 4. G. Chamayou, http://www.monde-diplomatique.fr/2013/04/CHAMAYOU/49004 5. http://www.theatlantic.com/technology/ archive/2014/05/the-military-wants-to-teach-robots-right-from-wrong/370855/ 6. Xavier de La Porte http://rue89.nouvelobs.com/2014/05/21/passera-t-jour-robot-tuera-etre-humain-252331 7. Philippe Vion-Dury http://rue89.nouvelobs.com/2014/05/13/terminator-a-lonu-debats-souvrent-sauver-lhumanite-lextinction-252120 8. Philippe Vion-Dury Un Terminator opérationnel d'ici vingt ans Rue 89 23 11 2012
