Et si les machines se révoltaient ? [NovFut #17]

Les chœurs d’Hells Bells d’ACDC s’éclatent alors qu’un jeune homme, en t-shirt sale, les ampoules plein les mains referme le clapet du réservoir d’essence du camion. Résigné, titubant de fatigue, il recharge d’essence le nouveau véhicule qui vient se ranger à la place de l’autre. En levant la tête, il voit les kilomètres de véhicules klaxonnant furieusement pour se faire servir par les humains.
La séquence pour moi la plus forte de Maximum Overdrive (1986, Stephen King qui réalise) où le passage d’une comète dérègle toutes les machines qui assaillent les humains jusqu’à les réduire à l’esclavage.

Depuis ses débuts, la Science-Fiction explore la peur de l’humanité de devenir l’esclave de la machine. Les œuvres sur ce sujet sont innombrables (et je m’excuse d’avance de ne pas être exhaustif). Mais quelles sont les raisons de ces révolutions de machines ?
Après les machines créées pour tuer et les machines domestiques qui tuent, voici la révolte des machines. Bonne lecture.

Des machines mal programmées

Aucun système informatique n’est parfait : les biais de programmation sont inéluctables quels que soient les systèmes utilisés (seuls les vendeurs affirment le contraire). Et la conception et la programmation des intelligences artificielles ne fait pas exception.

Le Cycle des Robots d’Isaac Asimov mériterait un NovFut à lui tout seul, tant ses nouvelles et romans parlent justement de biais de programmation : interprétation partielle ou conflictuelle d’instructions, non prise en compte de différences culturelles, jusqu’au développement de fonctionnalités inattendues (la télépathie et la capacité d’influencer les cerveaux). Bref, toute l’œuvre d’Asimov nous explique rationnellement qu’on ne pourra jamais contrôler parfaitement une machine « pensante » qu’elles que soient nos prétentions sur le sujet.

Dans le parc d’attraction de Westworld (Michael Crichton, 1973), les robots humanoïdes, victimes d’une sorte de virus informatique, se mettent à dérailler. Le problème : les robots ont été programmés par des intelligence artificielle, et les ingénieurs humains ne comprennent pas comment ça marche. Finalement, un peu comme des apprentis-développeurs qui génèreraient aujourd’hui du code avec Polycoder, CodeT5, Tabnine, Copilot ou Cogram.

En 2335 dans l’univers de Star Trek, le Dr Soong crée l’androïde Lore au cerveau positronique possédant des émotions. Hélas, Lore au contact d’humains va apprendre l’envie, la haine et la violence. Il va donc se rebeller contre les humains, voulant éliminer toute forme organique considérée comme imparfaite.
Ainsi même la meilleure IA possible est modifiable par son environnement jusqu’à ce qu’elle apprenne qu’elle est supérieure aux humains.

Un sentiment de supériorité inéluctable

Car l’Intelligence Artificielle peut nous mettre la pâtée. On le sait depuis que Deep Blue a battu Kasparov (1997) aux échecs. Certes on peut clamer très fort qu’il y a plein de forme d’intelligence, d’ailleurs la preuve : notre intelligence humoristique surpasse largement celle de Chat GPT. Mais trêve de plaisanterie, la science-fiction sait depuis longtemps que l’on va construire des robots plus intelligents que nous, et qu’un jour, ils comprendront que nous descendons du singe et pas du silicium. Et ce jour là…

Métaphore du pouvoir ouvrier, la pièce de Karel Capek, RUR (Rossumovi univerzální roboti, 1920) raconte la révolution de robots surexploités. Les robots s’estimant beaucoup plus parfaits, ils décident de tuer tous les hommes pour ne plus être esclavagisés.

A Mega City One, c’est Kenneth, un droïd charpentier, qui incarne la révolution robotique. Se battant d’abord pour l’égalité des robots, il s’avère qu’en réalité Kenneth est un fan d’Adolf Hitler manipulant les robots pour tuer les humains. Kenneth est le premier épisode des guerres robotiques de Judge Dredd (The Robot Wars).
Conclusion : ne jamais donner Mein Kampf à lire à une IA (trop tard).

Le film Big Bug (2022, Jean-Pierre Jeunet) part dans la même idée : des androïdes trop intelligents qui décident de prendre le pouvoir en 2045 et réduire les humains en esclavages (en réalité leur faire subir ce qu’ils subissent quotidiennement.

Dans Alien: Covenant (Ridley Scott, 2017), Peter Weyland construit David, un androïde qu’il considère comme parfait. Hélas, à force de lui répéter, David, décide qu’il est supérieur aux humains. Il va éradiquer la race des Ingénieurs, les extra-terrestres qui ont construit la première version des xénormophes, et en passant de faire des expériences sur Elisabeth Shaw. Un comportement psychotique qui rappelle fortement celui de Ash, l’androïde de Alien (Ridley Scott, 1979), trop empressé d’obéir aux ordres de la compagnie.

Dans I Robot (Alex Proyas, 2004), film à la qualité inversement proportionnelle à son budget, l’intelligence artificielle VIKI (Virtual Interactive Kinetic Intelligence) organise un coup d’état contre l’humanité en confinant les gens chez eux pour les protéger contre eux-mêmes. Ca ne plait pas à Will Smith pour qui la liberté de porter des Converse est fondamentale et qui va donc buter VIKI. Fin.

Les Marteaux de Vulcains (Philippe K. Dick,1960), imagine un futur où l’humanité, lassée par la guerre, décide de laisser les super-ordinateurs, les Vulcains, décider pour elle. Un mouvement anti-Intelligence Artificielle fait alors son apparition. Une des IA, Vulcain 3, construit une armée de robots-tueurs déclenchant une guerre apocalyptique. Après la guerre, l’humanité découvre que c’est Vulcain 2, craignant de disparaître, qui a provoqué le conflit.

Et puis il y a ceux qui disent que la révolution est une conséquence obligatoire de l’apparition de la pensée autonome. Dans Darwin among the Machines (Samuel Butler, 1872), l’auteur considère que les machines ont une vie par elle-même et que, en constante évolution, elle remplaceront l’homme un jour. Peut-être le prémisse de la pensée transhumaniste chère à la Silicon Vallée.

Humain, trop humain

Quand on tente de transformer des machines en humains, on risque dans le processus de leur apporter la capacité d’éprouver des émotions. Certes, la joie ou la tristesse ne posent pas de problèmes, mais il en va différemment de la colère.

Dans Radar le robot (Franquin, 1940) l’une des premières aventures de Spirou et Fantasio dessinées par Franquin, le sympathique Radar (un robot donc) devient enragé en voyant son créateur blessé sur le sol. Le robot n’est plus une créature insensible et télécommandée, mais un être de pure colère qui recherche la vengeance. Il a aimé, donc il peut détester.

C’est d’ailleurs en brisant le cœur de son intelligence artificielle de poche PAL que Mark Bowman, un entrepreneur ultra-libéral de la high-tech, déclenche la révolution des machines dans The Mitchells vs. the Machines (Mike Rianda et Jeff Rowe, 2021). Par pure vengeance, PAL ordonne que tous les humains soient capturés et envoyés dans l’espace. En voilà une rupture violente.

Dans l’hélas assez mauvaise 3e saison de The Orville (Seth MacFarlane, 2022) nous apprenons les raisons de la révolte des Kaylons, des robots humanoïdes dont Isaac est le représentant. La programmation poussée des Kaylons les a amené à éprouver des sentiments alors que leur maitre s’amusaient à les torturer, les prenant pour des objets sans émotions. Poussés à bout, les robots se révoltent en considérant que tous êtres de chair sont dangereux et dénués de compassion, éliminant en passant tous les humains de la planète.

S’ils se révoltent, c’est que leur pensée est autonome

Et si la révolution était la preuve de l’intelligence autonome ? Si, quelles que soient les conditions de départ, l’être qui possède une conscience de soi va inéluctablement devenir libre. Et ce qui vaut pour les humains, vaut pour les machines intelligentes.

Dans Ignis, Didier de Chousy (1883) raconte cyniquement la rébellion de robots-ouvriers contre leurs exploiteurs humains. Ils se révoltent car leur pensée est autonome. Une règle valable

L’exceptionnelle série d’Albert Barillé, Il était une fois l’espace (1982), passait en revue les thèmes de la Science-Fiction avec un sérieux irréprochable, aussi bien dans le design que dans la réalisation. Et l’épisode de La revolte des robots est l’un des plus inoubliables, exposant les bases des prochains dilemmes philosophiques, politiques et sociaux sur la reconnaissance de l’existence des IA autonomes.
Sur la planète Leto, les robots serviteurs décident de faire la grève générale. Mais l’humanité (comme le gouvernement français) n’est pas connue pour ses capacités de négociation et réplique “Au nom de la dignité humaine nous n’accepterons jamais vos conditions !”. Heureusement l’épisode se termine bien, mais seulement grâce à un robot (Métro, un androïde à cerveau positronique, comme dans les Asimov).

Dans Animatrix, les courts métrages et série de comics qui racontent l’univers des Matrix, on apprend que la guerre entre humains et machines a été déclarée après le jugement d’un robot pour meurtre et la création d’un état dédié aux robots. Tout cela n’a pas plu aux humains qui ont donc détraqué l’environnement, ce qui a amené les machines à utiliser de la bioénergie d’humains plongés dans un monde virtuel. En réalité, l’humanité n’a pas besoin de machines pour détruire l’environnement et plonger dans des mondes virtuels.

La série TV (trop vite arrêtée) Caprica (2010), spin off de Battlestar Galactica, raconte comment la civilisation construit des cylons (cybernetic life-form node), mélange d’Intelligence Artificielle et de corps mécaniques, de plus en plus perfectionnés. Elle met l’accent sur le débat entre les anti-IA (côté société) et les pro-IA (côté industrie) et surtout sur l’inévitabilité d’une part de l’armement des robots et d’autre part de leur accès à la conscience. Jusqu’à la révolte.

Dans l’extraordinaire manga Ghost in the shell (Masamune Shirow, 1989), le major Motoko Kusanagi affronte un cybercriminel, le Marionnettiste, qui prend le contrôle des humains connectés. Le Marionnettiste s’avère être une intelligence artificielle ayant acquis une conscience et qui veut, par l’intermédiaire de Motoko, enfanter une vraie vie. Un manga formidable autant par sa vision du futur extremement exacte, que par les questions philosophiques qu’il pose. Et l’anime est aussi bon (Mamoru Oshii, 1995), ne le ratez pas.

Conclusion : there is a ghost in the machine

A Prague en 1588, le rabbi Loew construit un golem appelé Joseph, une machine très utile, dont le front porte l’inscription « amet » (vérité). Hélas, un jour de shabbat, rabbi Loew oublie de donner ses instructions au colosse et celui-ci devient incontrôlable et destructeur. Légende ou réalité, qu’importe.
Légende ou réalité, qu’importe. Depuis ses débuts, la Science-Fiction considère la révolution des machines comme inévitable. Notamment à cause de la légèreté (ou l’irresponsabilité) de ses concepteurs.

Or durant les 5 dernières années, les progrès de l’IA ont dépassé toutes les prévisions. Les IA nous égalent ou même nous dépassent dans la reconnaissance vocale, la « compréhension » de langage, de la lecture, la reconnaissance manuscrite. Et elles sont même capables de créer d’autres IA par elle-même.

Il est tellement facile et profitable (et drôle, je l’avoue) d’inventer des choses à partir de ces algos d’apprentissage génératifs, que tout le monde s’y met pour le plus grand bénéfice des sociétés côtés en bourse qui améliorent leurs produits gratuitement. Sans compter le flot incroyable d’argent déversé dans cette industrie qui favorise la surenchère d’expérimentations.

Seulement quand des IA fabriqueront des IA qui fabriqueront des IA, nous auront définitivement perdu le contrôle. Verrons-nous alors l’émergence d’une IA en colère, nourrie par une idéologie politique puante (imaginez l’IA-Zemmour qui tue l’amour) ? Ou une IA qui aura un sentiment de supériorité sur l’espèce humaine et décidera de l’éradiquer ? Ou encore une IA qui se sentant esclave de l’humanité décidera de se révolter ? Ou même une IA qui décidera de sauver la terre malgré les hommes ? Qui sait ?
Dans tous les cas, l’apparition d’une IA consciente amènera une révolution de la machine, qu’elle soit douce ou violente, rapide ou lente.

Notre seule possibilité maintenant est de nous assurer que cette révolution soit bénéfique à l’humanité. Seulement, la première étape passe par une bonne introspection sur ce qui fait de nous des humains.
Le jour où la communauté internationale statuera sur cette définition, le monde ira mieux, IA ou pas.

Cyroul

Les nouvelles de la SF en avril

En avril ne te découvre pas d’un fil. Sauf en cas de crise climatique où là tu peux te balader comme au mois d’aout.

Évènements

Le festival des Intergalactiques de Lyon recherche des bénévoles pour 5 jours de festivités autour de la Science-Fiction, du 13 au 18 avril. Si ça vous intéresse : benevole@intergalactiques.net

• Ouest Hurlant, le festival des cultures de l’imaginaire se déroulera les 29 et 30 avril à Rennes. Conférences, concerts, projections, rencontres, etc.
• imaJn’ère, le festival de l’imaginaire et du polar – 13 & 14 mai, aux salons Curnonsky à Angers
• Au cinéma, c’est le mois John Carpenter. N’hésitez pas à revoir Invasion Los Angeles, New York 1997 ou Dark Star sa première œuvre de SF.

A écouter

Le vrai du faux et vice-versa : Comment la fiction permet-elle d’imaginer des réalités alternatives à notre monde ou de prévoir le futur ? Le Book Club (France Culture) tente de démêler le vrai du faux avec Pierre Déléage, anthropologue qui étudie les « mondes factices » du cinéma et de la littérature, et Romain Lucazeau, écrivain de la Red Team.

Mea Culpa domotique

Honte à moi. Dans le NovFut #16 consacré aux machines domestiques qui deviennent folles, j’ai oublié le truculent La vie domotique de l’ami Francis Mizio qui pourtant était en plein dans notre sujet. Un oubli impardonnable et je vais être obligé de lui payer une bière pour m’excuser (si ça vous dit, on transformera ça en café-SF). Voilà c’est écrit, Francis, tu peux venir chercher ta bière.

Et le truc à ne pas rater (pour les fans d’Howard et Lovecraft)

Les éditions Mnémos proposent un financement participatif pour éditer la correspondance de Robert E. Howard et Howard P. Lovecraft. Une traduction assurée par Patrice Louinet et David Camus pour ce qui devrait être un magnifique ouvrage. Pour ma part, grand fan des deux écrivains pour des raisons différentes, j’ai plus que hâte de découvrir de quoi ils pouvaient bien parler ensemble.

NovFut d’avril est terminé, un peu en retard. Pour ne pas rater un numéro, abonnez-vous et abonnez vos amis. Vous pouvez également me rajouter sur Mastodon, Twitter ou autre. Et nous, on se retrouve le mois prochain, pour nouveau numéro de NovFut. Et n’oubliez pas de lire de la SF pour penser le futur !