C’est une règle naturelle : plus un système est complexe, plus la probabilité pour qu’il dérape augmente. Ainsi, si la vieille cafetière italienne de votre grand mère prépare toujours de délicieux expresso, la mega-cafetière connectée sur internet, offerte à Noël, est déjà à la poubelle.
Seulement que se passe-t-il quand le dérèglement d’une machine complexe la transforme en danger public voire même en tueur en série ? A l’ère de l’IOT (l’internet des objets) où tout est connecté, de votre smartphone à votre pacemaker en passant par votre maison, votre voiture et votre robot aspirateur, la question est primordiale. Plus grave encore, l’engouement mondial pour les systèmes à base d’intelligence artificielle crée des systèmes de plus en plus complexes et autonomes, des systèmes de plus en plus immergés dans notre quotidien, de moins en moins contrôlables.
La Science-fiction nous a déjà raconté cette histoire. Aussi, après un premier épisode sur les machines programmées pour tuer, NovFut #16 aborde comment la science-fiction nous parle des machines domestiques qui tuent.
Quand les véhicules sortent des clous
La voiture autonome est loin d’être une réalité (elle se rebaptise d’ailleurs “voiture automatisée” pour éviter les procès potentiels) que ce soit pour des raisons technologiques, réglementaires ou même éthiques. Mais depuis des années, la SF a anticipé cette question.
En 1944, Théodore Sturgeon, le plus empathique des écrivains de SF, écrit Killdozer, où une entité extra-terrestre endormie possède un bulldozer de chantier. La créature énergétique (électrique), déjà responsable de l’extinction d’une race terrestre, se met en devoir de continuer le job en exterminant les humains. Du hacking de voiture autonome, déjà.
Enfer mécanique (The Car, 1977, Elliot Silverstein) raconte l’histoire d’une Lincoln Continental noire sans conducteur qui se met à attaquer les piétons d’un village du nouveau Mexique. Mais pourquoi est-elle si méchante ? Il semblerait qu’un démon n’ait pas besoin de justification.
6 ans après, Stephen King nous offre Christine (adapté dans un très bon film la même année par Carpenter) la Plymouth modèle 57 la plus connue du cinéma.
Partant du fantasme basique de l’ado américain “get the car to get the girl”, King propose une histoire prenante où la voiture établit avec son conducteur une relation de protection quasi-maternelle tout en influençant ses émotions. Cette machine éprouve elle-même des émotions (jalousie et colère) et est prête à tout pour protéger son propriétaire. En 2023, cela résonne avec le fameux dilemme éthique des voitures autonomes qui doit choisir entre protéger en priorité son conducteur ou un piéton. Un dilemme de la responsabilité de l’autonomisation toujours pas tranché.
Quand la domotique devient folle
Autonomiser sa voiture c’est bien, mais autonomiser sa maison, c’est encore mieux. Dans Mon Oncle (1958, Tati), Monsieur Hulot devient la victime involontaire de ces automatisations modernes. On y apprend que les machines sont incompatibles avec la rêverie et la poésie.
En 1977, dans Judge Dredd: Komputel (2000 A.D. Prog 32), Dredd, le flic qui ne rigole jamais, affronte un hôtel entièrement automatisé, dernière trouvaille de la ville Mega-City One. L’hôtel est piloté par un ordinateur qui contrôle tout (du cinéma aux cuisines en passant par l’air conditionnée et la plomberie) et peut servir des centaines de clients dans 514 chambres. Forcément, l’ordinateur devient fou et tue tous ses clients. 50 ans après, au Japon, il semble y avoir le même genre de problème.
Même prendre l’ascenseur automatique peut être dangereux. Dans the Lift (l’ascenseur, 1983) un ascenseur ultra-automatisé se dérègle et se transforme en psychopathe. Un film aux scènes sanglantes inoubliables qui m’ont amenés depuis 40 ans à privilégier les escaliers (et à ne jamais mettre ma tête entre les portes coulissantes). Éducatif, donc.
Qui dit domotique dit système de sécurité. Je me dois donc de vous parler de Shopping (1986) – Chopping Mall, un film d’horreur SF rigolo où des robots de sécurité déréglés du centre commercial vont se farcir les jeunes employés qui ont décidé de faire la fête dans les locaux. Actions, consommation, électrocution !
Nettement pire, dans The Tower (1985), une IA domotique baptisée Lola (sic) cherche à tuer les employés nocturnes de la tour pour récupérer leur énergie. Certainement une adepte des 35 heures.
Même idée dans le très mauvais slasher Margaux (2022) qui présente un système domotique psychotique à la voix féminine qui tue des jeunes venus s’installer chez elle. Le motif : parce qu’ils ne sont pas assez “efficients” (peut-être parce qu’ils regardent trop de mauvais slashers ?)
Mais rassurez-vous, l’héroïne (intelligente, belle et innocente) arrivera à insérer un malware dans le système et à pulvériser la tête de l’IA, avant de s’apercevoir que l’IA s’est connectée à son GPS.
Le système domotique le plus connu de la science-fiction est sans hésiter l’intelligence artificielle HAL 9000 capable de contrôler tous les systèmes du vaisseau spatial Discovery One dans 2001, l’Odyssée de l’espace (Space Odyssey, Stanley Kubrick, 1968 ou Arthur C Clarke). Avec son interface de synthèse vocale, qui n’est pas sans nous rappeler les saletés d’assistants vocaux vendus dans le public), HAL développe une conscience de lui-même et surtout l’envie de rester “vivant”, quitte à détruire l’équipage pour cela. A noter, le pionnier de l’IA, Marvin Minsky, a conseillé Kubrick sur le scénario. Quand la SF rejoint la science.
HAL a évidemment créé des émules, dont le fameux AUTO, autopilote de Wall-e (2008, Pixar) qui, en suivant une directive datée de 700 ans, fera tout pour empêcher les humains de retourner sur terre. De toutes façons, c’est toujours la faute du développeur…
Quand la société s’automatise
Et puis, pourquoi s’arrêter à l’automatisation de la maison, quand on peut automatiser une communauté ou même notre société ? Une tentation dangereuse, surtout quand on voit le niveau de nos politiciens.
En 1909, la nouvelle La machine s’arrête (The Machine Stops, Edward Morgan Forster)nous raconte comment les hommes d’une société futuriste vivent sous terre sous la domination d’un immense cerveau artificiel omnipotent, la machine, qui commence peu à peu à donner des signes de mauvais fonctionnement. Spoiler : ça se termine mal…
Philip K. Dick imagine dans Les Marteaux de Vulcain (Vulcan’s Hammer, 1960) que l’humanité a remis son sort entre les « mains » de Vulcain III, un super-ordinateur au pouvoir absolu. La société devient sclérosée et paranoïaque, dominée par des technocrates.
Car l’automatisation d’une société ne peut que changer les humains en profondeur. Ainsi dans Alphaville, une étrange aventure de Lemmy Caution (JL Godard, 1965), le supercalculateur α-60 règne sur une société totalitaire où Seule la logique y est permise, les sentiments y étant interdits.
Se faire diriger par un mécanisme automatisé signifie perdre notre liberté. C’est également le propos de Metropolis (1927, Fritz Lang), et encore plus de Brazil (1985, Terry Gillimam), où la machine bureaucratique (système mécanique) ne laisse plus place à l’humain. Gilliam et Lang pointent du doigt les compromis qui mènent à cette aliénation par la machine, et donc la responsabilité permanente qui est la nôtre pour l’éviter.
Changer la société pour le mieux, ou pour un modèle patriarcal américain, c’est le propos des Femmes de Stepford (The Stepford Wives, Ira Levin, 1972) où le club des hommes de Stepford remplace les femmes indépendantes et libres d’esprit par des doubles robotiques belles et soumises. La dystopie féministe (ou l’utopie incel) adaptée en film en 1975 par Bryan Forbes.
Quand la machine a trop de pouvoirs
L’humanité est fainéante. Elle automatise ses machines pour moins faire d’efforts physiques ou mentaux jusqu’au moment où elle programme des algorithmes capables de s’auto-programmer eux-même. Et là…
Dans Le Cerveau d’acier (Colossus: The Forbin Project, Joseph Sargent, 1970, tiré du roman de Dennis Feltham Jones, 1966), deux superordinateurs de défense russe et américain Colossus et Guardian se rencontrent, se mettent à communiquer ensemble et finalement décident de s’allier pour résoudre les problèmes de l’humanité (famine, la maladie et surpopulation). C’est le moment où les militaires se disent qu’ils ont fait une bêtise.
C’est d’ailleurs toujours un problème quand on confie à une IA les rennes de son arsenal nucléaire. Ainsi Skynet, IA conçue par la compagnie Cyberdyne Systems, décide d’éradiquer la race humaine en déclenchant une apocalypse nucléaire. Pour ma part, je n’ai jamais compris ses raisons, mais ça permet de nous offrir la série des films Terminator, alors on va pas chipoter.
Sans aller jusqu’à confier ses missiles à une IA, il suffit de lui donner suffisamment de possibilités et d’autonomie à l’intérieur de sa maison pour produire des résultats désagréables. Dans Demon Seed (Génération Proteus, 1977) d’après un roman du prolifique Dean R. Koontz. Un informaticien vit dans une maison entièrement automatisée avec sa femme Susan. Il a construit Proteus IV, une intelligence artificielle multi-compétence, censée résoudre des problèmes médicaux. Mais Proteus IV s’aperçoit de l’imperfection de ses créateurs et de ses propres contraintes physiques. Il prend alors le contrôle de la maison automatisée pour se fabriquer un corps physique à travers Susan. Pas cool.
Conclusion : ghost in the machine
Arthur Koestler dans Ghost in the Machine (Le Cheval dans la locomotive, 1967) s’intéressait à la capacité des machines de déclencher chez l’homme des pulsions négatives et disons-le anti-sociales. Ainsi l’homme porte en lui cette capacité d’autodestruction à travers ses trouvailles scientifiques et technologiques.
La Science-Fiction nous le rappelle sans cesse : quand les machines dépassent nos capacités mentales, physiques, et même notre compréhension, alors le danger est proche.
En 2023, les inventions technologiques et scientifiques vont plus vite que la capacité de l’humanité à les digérer : biotechnologie, intelligence artificielle, nanotechnologies, etc… Nous perdons peu à peu le contrôle sur ces technologies. Et ceux qui vous disent le contraire, des apprentis sorciers de la Silicon Valley, de Zhong Guan Cun, jusqu’aux politiciens parlant de startups, vous mentent.
Heureusement la Science-Fiction est là pour nous rappeler de rester vigilants, indépendants, autonomes nous même car plus nos machines deviennent puissantes et autonomes et plus nous perdons notre liberté et notre libre-arbitre.
Et ce pouvoir accordé aux machines pourrait conduire l’humanité vers l’un des thèmes les plus importants de la SF : la révolte des machines. Un sujet que nous aborderons dans le prochain NovFut et qui conclura cette trilogie sur les machines tueuses dans la science-fiction.
Cyroul
Les nouvelles de la SF en mars
En mars, je vais fêter mon demi-siècle. Est-ce que la SF a changé depuis 50 ans ? Un peu. Disons qu’elle a perdu son caractère exclusif (une littérature réservées aux nerds) pour gagner en popularité et parfois perdre en qualité dans le processus. Donc oui la SF a changé, et non, je ne m’en plains pas. Allez, les news.
- Vous êtes auteur de roman ou de nouvelles de Science-Fiction ? Belial reçoit vos soumissions jusqu’au 31 mars. Mais ne faites pas comme avec cette revue de SF submergée par des manuscrits écrits par des IA.
Ceci dit, il est temps pour les éditeurs de s’équiper pour détecter ces textes auto-générés, car il ne faudra pas compter sur le marché des producteurs de contenus pour le faire. On risque hélas de lire, d’entendre et de voir beaucoup de bouses insipides dans les prochaines années. - Une revue non écrite par une IA, c’est Bifrost, dont le dernier numéro honore Valerio Evangelisti disparu l’année dernière.
- Vous pouvez retrouver la première sélection du Grand Prix de l’Imaginaire 2023. Il y a du monde, du très connu à l’inconnu, et j’avoue ne pas avoir tout lu.
Évènements
- Sur les sujet des voitures autonomes, ne pas rater l’expo Permis de Conduire aux Arts et Metiers de l’ami Filipe Vilas-Boas jusqu’au 7 Mai.
- La 11e édition des Intergalactiques le festival lyonnais des cultures de l’imaginaire aura lieue du 13 au 18 avril à Lyon sur le sujet de LIBIDO SCIENDI (cooool !). La programmation exacte sera révélée le 12 mars mais en attendant vous pouvez apprécier l’affiche de Timothée Mathelin. Et pour ceux que le festival intéresse, ils cherchent encore des bénévoles !
- Le Salon Fantastique absent depuis plusieurs années revient au Parc Floral à Paris les 8 et 9 avril.
Et le truc à voir
J’avoue avoir pris une claque avec le trailer de Neptune Frost. Un film de Saul Williams qui nous plonge dans du cyberpunk africain. C’est magnifique. Et si vous en voulez encore ça, allez donc explorer les articles Afrofuturisme de l’ami Laurent Courau sur La Spirale. Un jour peut-être un spécial NovFut sur le sujet.
NovFut de mars est terminé. N’hésitez pas à vous abonner, à abonner vos amis ou à me rajouter sur Mastodon, Twitter ou autre. Et nous, on se retrouve le mois prochain, pour nouveau numéro de NovFut. Et n’oubliez pas de lire de la SF pour penser le futur !
