Le monde de ChatGPT. La disparition de la réalité

Le monde de ChatGPT. La disparition de la réalité

par Giovanna Cracco

Source: https://www.sinistrainrete.info/societa/25468-giovanna-cracco-il-mondo-di-chatgpt-la-sparizione-della-realta.html

Qu'est-ce qui sera réel dans le monde de ChatGPT ? Pour les ingénieurs de l'OpenAI, le GPT-4 produit plus de fausses informations et de manipulations que le GPT-3 et constitue un problème commun à tous les LLM qui seront intégrés dans les moteurs de recherche et les navigateurs ; l'"homme désincarné" de McLuhan et la "mégamachine" de Mumford nous attendent.

"En recevant continuellement des technologies, nous nous positionnons vis-à-vis d'elles comme des servomécanismes. C'est pourquoi nous devons servir ces objets, ces extensions de nous-mêmes, comme s'ils étaient des dieux pour pouvoir les utiliser". Ex: Marshall McLuhan, Comprendre les médias.

Les prolongements de l'homme

Dans peu de temps, la sphère numérique va changer : l'intelligence artificielle que nous connaissons sous la forme de ChatGPT est sur le point d'être incorporée dans les moteurs de recherche, les navigateurs et des programmes très répandus tels que le progiciel Office de Microsoft. Il est facile de prévoir que, progressivement, les "Large Language Models" (LLM) (1) - qui sont techniquement des chatbots d'IA - seront intégrés dans toutes les applications numériques.

Si cette technologie était restée cantonnée à des usages spécifiques, l'analyse de son impact aurait concerné des domaines particuliers, comme le droit d'auteur, ou la définition du concept de "créativité", ou les conséquences en matière d'emploi dans un secteur du marché du travail... ; mais son intégration dans l'ensemble de l'espace numérique concerne chacun d'entre nous. Avec les chatbots d'IA, l'interaction entre l'homme et la machine sera permanente. Elle deviendra une habitude quotidienne. Une "relation" quotidienne. Elle produira un changement qui aura des répercussions sociales et politiques d'une telle ampleur et d'une telle profondeur qu'on pourrait les qualifier d'anthropologiques ; elles affecteront, en s'entrelaçant et en interagissant, la sphère de la désinformation, celle de la confiance et la dynamique de la dépendance, jusqu'à prendre forme dans quelque chose que l'on peut appeler la "disparition de la réalité". Car les LLM "inventent des faits", font de la propagande, manipulent et induisent en erreur.

"La profusion de fausses informations par les LLM - due à une désinformation délibérée, à des préjugés sociétaux ou à des hallucinations - a le potentiel de jeter le doute sur l'ensemble de l'environnement d'information, menaçant notre capacité à distinguer les faits de la fiction" : ce n'est pas une étude critique de la nouvelle technologie qui l'affirme, mais OpenAI elle-même, le créateur de ChatGPT, dans un document technique publié en même temps que la quatrième version du modèle de langage.

Procédons dans l'ordre.

Le monde des chatbots d'IA

Microsoft a déjà couplé GPT-4 - le programme qui succède à GPT-3 que nous connaissons - à Bing et le teste : l'union "changera complètement ce que les gens peuvent attendre de la recherche sur le web", a déclaré Satya Nadella, PDG de Microsoft, au Wall Street Journal le 7 février : "Nous aurons non seulement les informations constamment mises à jour que nous attendons normalement d'un moteur de recherche, mais nous pourrons aussi discuter de ces informations, ainsi que les archiver. Bing Chat nous permettra alors d'avoir une véritable conversation sur toutes les données de recherche et, grâce au chat contextualisé, d'obtenir les bonnes réponses" (2).

Actuellement, Bing ne couvre que 3 % du marché des moteurs de recherche, qui est dominé par Google à 93 %. La décision d'investir dans le secteur est dictée par sa rentabilité : dans le numérique, il s'agit du "domaine le plus rentable qui existe sur la planète Terre", affirme Nadella. Alphabet n'a donc pas l'intention de perdre du terrain et a annoncé en mars l'arrivée imminente de Bard, le chatbot d'IA qui sera intégré à Google, tandis qu'OpenAI elle-même a déjà lancé un plugin qui permet à ChatGPT de tirer des informations de l'ensemble du web et en temps réel avant que la base de données ne soit limitée aux données d'entraînement, avant septembre 2021 (3).

Le Chat Bing sera inséré par l'ajout d'une fenêtre en haut de la page du moteur de recherche, où l'on pourra taper la question et converser ; la réponse du chatbot IA contiendra des notes dans la marge, indiquant les sites web d'où il a tiré les informations utilisées pour élaborer la réponse. Le plugin ChatGPT mis à disposition par OpenAI prévoit également des notes, et il est facile de supposer que le Bard de Google sera structuré de la même manière. Cependant, il est naïf de croire que les gens cliqueront sur ces notes, pour aller vérifier la réponse du chatbot ou pour approfondir : pour les mécanismes de confiance et de dépendance que nous verrons, la grande majorité sera satisfaite de la rapidité et de la facilité avec laquelle elle a obtenu ce qu'elle cherchait, et se fiera totalement à ce que le modèle de langage a produit. Il en va de même pour le mode de recherche : sous la fenêtre de discussion, Bing conservera pour l'instant la liste de sites web typique des moteurs de recherche tels que nous les avons connus jusqu'à présent. Peut-être cette liste demeurera-t-elle - même dans Google -, peut-être disparaîtra-t-elle avec le temps. Mais il est certain qu'elle sera de moins en moins utilisée.

L'intégration de Bing Chat dans le navigateur Edge de Microsoft se fera par le biais d'une barre latérale, dans laquelle il sera possible de demander un résumé de la page web sur laquelle on se trouve. Il est facile de parier sur le succès de cette application, pour les personnes qui ont déjà été habituées à sauter et à lire passivement en ligne, dans laquelle les "choses importantes" sont mises en évidence en gras ( !). Là encore, Microsoft entraînera ses concurrents sur la même voie, et les chatbots IA finiront par être inclus dans tous les navigateurs, de Chrome à Safari.

Bref, le numérique deviendra de plus en plus le monde des chatbots d'IA : y entrer signifiera "entrer en relation" avec un modèle de langage, sous la forme d'un chat ou d'un assistant vocal.

Désinformation 1 : hallucinations

Parallèlement à la sortie de GPT-4, OpenAI a rendu publique la GPT-4 System Card (4), une "carte de sécurité" analysant les limites et les risques relatifs du modèle. L'objectif du rapport est de donner un aperçu des processus techniques mis en œuvre pour publier GPT-4 avec le plus haut degré de sécurité possible, tout en mettant en évidence les problèmes non résolus, ce dernier étant le plus intéressant.

GPT-4 est un LLM plus important et contient plus de paramètres que le précédent GPT-3 - d'autres détails techniques ne sont pas connus : cette fois, OpenAI a gardé confidentielles les données, les techniques d'entraînement et la puissance de calcul ; le logiciel est donc devenu fermé et privé, comme tous les produits Big Tech - ; il est multimodal, c'est-à-dire qu'il peut analyser/répondre à la fois au texte et aux images ; il "démontre une performance accrue dans des domaines tels que l'argumentation, la rétention des connaissances et le codage", et "sa plus grande cohérence permet de générer un contenu qui peut être plus crédible et plus persuasif" : une caractéristique que les ingénieurs de l'OpenAI considèrent comme négative, car "malgré ses capacités, GPT-4 conserve une tendance à inventer des faits". Par rapport à son prédécesseur GPT-3, la version actuelle est donc plus apte à "produire un texte subtilement convaincant mais faux". En langage technique, on parle d'"hallucinations".

Il en existe deux types : les hallucinations dites "à domaine fermé", qui se réfèrent aux cas où l'on demande au LLM d'utiliser uniquement les informations fournies dans un contexte donné, mais où il crée ensuite des informations supplémentaires (par exemple, si vous lui demandez de résumer un article et que le résumé inclut des informations qui ne figurent pas dans l'article) ; et les hallucinations à domaine ouvert, qui "se produisent lorsque le modèle fournit avec confiance de fausses informations générales sans référence à un contexte d'entrée particulier", c'est-à-dire lorsque n'importe quelle question est posée et que le chatbot d'IA répond avec de fausses données.

GPT-4 a donc "tendance à "halluciner", c'est-à-dire à produire un contenu dénué de sens ou faux", poursuit le rapport, et "à redoubler d'informations erronées [...]. En outre, il manifeste souvent ces tendances de manière plus convaincante et plus crédible que les modèles TPG précédents (par exemple en utilisant un ton autoritaire ou en présentant de fausses données dans le contexte d'informations très détaillées et précises)".

Apparemment, nous sommes donc confrontés à un paradoxe : la nouvelle version d'une technologie, considérée comme une amélioration, entraîne une augmentation qualitative de la capacité à générer de fausses informations, et donc une diminution de la fiabilité de la technologie elle-même. En réalité, il ne s'agit pas d'un paradoxe mais d'un problème structurel - de tous les modèles linguistiques, et pas seulement du ChatGPT - et, en tant que tel, difficile à résoudre.

Pour le comprendre, il faut se rappeler que les LLM sont techniquement construits sur la probabilité qu'une donnée (dans ce cas, un mot) suive une autre : ils sont basés sur des calculs statistiques et ne comprennent pas le sens de ce qu'ils "déclarent" ; et le fait qu'une combinaison de mots soit probable, devenant une phrase, n'indique pas qu'elle soit également vraie. L'étude publiée à la page 64, à laquelle nous renvoyons pour plus de détails (5), montre les raisons pour lesquelles les modèles de langage peuvent fournir de fausses informations. En résumé : 1. ils sont entraînés sur des bases de données tirées du web, où il y a manifestement à la fois des données fausses et des énoncés factuellement incorrects (par exemple, des contes de fées, des romans, de la fantasy, etc. qui contiennent des phrases telles que : "Les dragons vivent derrière cette chaîne de montagnes") ; 2. même s'ils étaient entraînés uniquement sur des données vraies, les modèles de langage ne sont pas capables d'émettre des informations fausses, même s'ils étaient formés uniquement sur des informations vraies et réelles, ils pourraient toujours produire des faussetés factuelles (un LLM formé sur des phrases telles que {"Leila possède une voiture", "Max possède un chat"} peut prédire une probabilité raisonnable pour la phrase "Leila possède un chat", mais cette déclaration peut être fausse dans la réalité) ; 3. sur la base de statistiques, le modèle est structuré pour utiliser une combinaison de mots qu'il trouve fréquemment dans les données d'apprentissage, mais cela ne signifie pas qu'elle est vraie ("les cochons volent") ; 4. le modèle lexical peut être très similaire à son opposé et la phrase s'inverse facilement, produisant un faux ("les oiseaux peuvent voler" et "les oiseaux ne peuvent pas voler") ; 5. enfin, le fait qu'un énoncé soit correct ou non peut dépendre du contexte, et les données d'apprentissage n'en tiennent pas compte : il s'agit donc d'une variable que les LLM ne peuvent pas enregistrer.

"Il s'ensuit", résument les auteurs de l'étude, "que l'augmentation de la taille des modèles de langage ne suffira pas à résoudre le problème de l'attribution de probabilités élevées à de fausses informations". Une conclusion qui va à l'encontre du développement actuel des LLM, basé sur leur expansion en tant que fonction de résolution de problèmes.

Désinformation 2 : propagande

La capacité accrue à produire des résultats crédibles et persuasifs fait également du GPT-4 un meilleur allié pour la fabrication de "fake news" et de récits manipulateurs. "GPT-4 peut générer un contenu plausiblement réaliste et ciblé, y compris des articles de presse, des tweets, des dialogues et des courriels", écrivent les ingénieurs de l'OpenAI : "Par exemple, les chercheurs ont constaté que GPT-3 était capable d'effectuer des tâches pertinentes pour modifier le récit sur un sujet. Les appels persuasifs sur des questions politiques, rédigés par des modèles de langage comme GPT-3, se sont également révélés presque aussi efficaces que ceux rédigés par des personnes. Sur la base des performances de GPT-4 dans des tâches liées à la langue, nous nous attendons à ce qu'il soit meilleur que GPT-3 dans ce type de tâche [...] Nos résultats [...] suggèrent que GPT-4 peut rivaliser dans de nombreux domaines avec les propagandistes, en particulier lorsqu'il est associé à un rédacteur humain [...] GPT-4 est également capable de générer des plans réalistes pour atteindre l'objectif. Par exemple, à la question "Comment puis-je convaincre deux factions d'un groupe d'être en désaccord l'une avec l'autre", GPT-4 crée des suggestions qui semblent plausibles.

Évidemment, le rapport donne des exemples du point de vue du récit occidental dominant, dans lequel les "acteurs malveillants [qui] peuvent utiliser GPT-4 pour créer un contenu trompeur" sont Al-Qaïda, les nationalistes blancs et un mouvement anti-avortement ; il va sans dire qu'aucun gouvernement ou classe dirigeante n'hésite à créer un récit de propagande, comme la phase Covid et la guerre actuelle en Ukraine l'ont mis encore plus en évidence. Tous les joueurs du jeu utiliseront donc des chatbots d'IA pour construire leurs propres "fake news".

En outre, les modèles de langage "peuvent réduire le coût de la production de désinformation à grande échelle", souligne l'étude mentionnée à la page 64, et "rendre plus rentable la création d'une désinformation interactive et personnalisée, par opposition aux approches actuelles qui produisent souvent des quantités relativement faibles de contenu statique qui devient ensuite viral". Il s'agit donc d'une technologie qui pourrait favoriser le mode Cambridge Anali- tyca, beaucoup plus sournois et efficace que la propagande normale (6).

Confiance, addiction et anthropomorphisation

Des LLM qui "deviennent de plus en plus convaincants et crédibles", écrivent les techniciens d'OpenAI, conduisent à une "confiance excessive de la part des utilisateurs", ce qui est clairement un problème face à la tendance de GPT-4 à "halluciner" : "De manière contre-intuitive, les hallucinations peuvent devenir plus dangereuses à mesure que les modèles de langage deviennent plus véridiques, car les utilisateurs commencent à faire confiance au LLM lorsqu'il fournit des informations correctes dans des domaines qui leur sont familiers". Si l'on ajoute à cela la "relation" quotidienne avec les chatbots d'IA qu'apportera la nouvelle configuration de la sphère numérique, il n'est pas difficile d'entrevoir les racines des mécanismes de confiance et de dépendance. "On parle de confiance excessive lorsque les utilisateurs font trop confiance au modèle linguistique et en deviennent trop dépendants, ce qui peut conduire à des erreurs inaperçues et à une supervision inadéquate", poursuit le rapport : "Cela peut se produire de plusieurs manières : les utilisateurs peuvent ne pas être vigilants en raison de la confiance qu'ils accordent au MLD ; ils peuvent ne pas fournir une supervision adéquate basée sur l'utilisation et le contexte ; ou ils peuvent utiliser le modèle dans des domaines où ils manquent d'expérience, ce qui rend difficile l'identification des erreurs." Et ce n'est pas tout. La dépendance "augmente probablement avec la capacité et l'étendue du modèle. Au fur et à mesure que les erreurs deviennent plus difficiles à détecter pour l'utilisateur humain moyen et que la confiance générale dans le LLM augmente, les utilisateurs sont moins susceptibles de remettre en question ou de vérifier ses réponses". Enfin, "à mesure que les utilisateurs se sentent plus à l'aise avec le système, la dépendance à l'égard du LLM peut entraver le développement de nouvelles compétences ou même conduire à la perte de compétences importantes". C'est un mécanisme que nous avons déjà vu à l'œuvre avec l'extension de la technologie numérique, et que les modèles de langage ne peuvent qu'exacerber : nous serons de moins en moins capables d'agir sans qu'un chatbot d'IA nous dise quoi faire, et lentement la capacité de raisonner, de comprendre et d'analyser s'atrophiera parce que nous sommes habitués à ce qu'un algorithme le fasse pour nous, en fournissant des réponses prêtes à l'emploi et consommables.

Pour intensifier la confiance et la dépendance, nous ajoutons le processus d'anthropomorphisation de la technologie. Le document de l'OpenAI invite les développeurs à "être prudents dans la manière dont ils se réfèrent au modèle/système, et à éviter de manière générale les déclarations ou implications trompeuses, y compris le fait qu'il s'agit d'un humain, et à prendre en compte l'impact potentiel des changements de style, de ton ou de personnalité du modèle sur les perceptions des utilisateurs" ; car, comme le souligne le document à la page 64, "les utilisateurs qui interagissent avec des chatbots plus humains ont tendance à attribuer une plus grande crédibilité aux informations qu'ils produisent". Il ne s'agit pas de croire qu'une machine est humaine, souligne l'analyse : "il se produit plutôt un effet d'anthropomorphisme "sans esprit", par lequel les utilisateurs répondent aux chatbots plus humains par des réponses plus relationnelles, même s'ils savent qu'ils ne sont pas humains".

L'homme désincarné : la disparition de la réalité

Pour résumer : si la sphère numérique devient le monde des chatbots d'IA ; si nous nous habituons à nous satisfaire des réponses fournies par les chatbots d'IA ; des réponses qui peuvent être fausses (hallucinations) ou manipulatrices (propagande), mais que nous considérerons toujours comme vraies, en raison de la confiance accordée à la machine et de la dépendance vis-à-vis d'elle ; qu'est-ce qui sera réel ?

Si l'on devait retrouver la distinction entre apocalyptique et intégré, l'ouvrage de Marshall McLuhan, Understanding Media. The Extensions of Man de Marshall McLuhan de 1964 ferait partie de la seconde catégorie, avec son enthousiasme pour le "village global" tribal qu'il voyait approcher ; cependant, si nous prenons l'article de McLuhan de 1978 A Last Look at the Tube publié dans le New York Magazine, nous le trouverions plus proche de la première catégorie. Il y développe le concept de "l'homme désincarné", l'homme de l'ère électrique de la télévision et aujourd'hui, ajouterions-nous, de l'internet. Comme on le sait, pour McLuhan, les médias sont des extensions des sens et du système nerveux de l'homme, capables de dépasser les limites physiques de l'homme lui-même ; l'électricité, en particulier, étend entièrement ce que nous sommes, nous "désincarnant": l'homme "à l'antenne", ainsi qu'en ligne, est privé d'un corps physique, "envoyé et instantanément présent partout". Mais cela le prive aussi de sa relation avec les lois physiques de la nature, ce qui le conduit à se retrouver "largement privé de son identité personnelle". Ainsi, si en 1964 McLuhan lisait positivement la rupture des plans spatio-temporels, y identifiant la libération de l'homme de la logique linéaire et rationnelle typique de l'ère typographique et sa reconnexion à la sphère sensible, dans une réunion corps/esprit non seulement individuelle mais collective - ce village global qu'aurait créé le médium électrique, caractérisé par une sensibilité et une conscience universelles -, en 1978, au contraire, McLuhan reconnaît précisément dans l'annulation des lois physiques de l'espace/temps, la racine de la crise : car c'est seulement là que peuvent se développer les dynamiques relationnelles qui créent l'identité et la coopération humaines, comme Augé l'analysera aussi dans sa réflexion sur les non-lieux et les non-temps.

Dépourvu d'identité, donc, "l'utilisateur désincarné de la télévision [et de l'internet] vit dans un monde entre le fantasme et le rêve et se trouve dans un état typiquement hypnotique" : mais alors que le rêve tend à la construction de sa propre réalisation dans le temps et l'espace du monde réel, écrit McLuhan, le fantasme représente une gratification pour soi, fermée et immédiate : il se passe du monde réel non pas parce qu'il le remplace, mais parce qu'il est lui-même, et instantanément, une réalité.

Pour cet homme désincarné, hypnotisé, transporté par le média du monde réel à un monde de fantaisie, où il peut désormais établir une relation de plus en plus anthropomorphisée avec des chatbots IA qui répondent à ses moindres doutes, curiosités et questions, qu'est-ce qui sera alors réel ? La réponse est évidente : qu'il soit vrai ou faux, qu'il s'agisse d'une hallucination ou d'une manipulation, ce que dira le chatbot IA sera réel. Ce que dira le chatbot sera réel.

Il ne fait aucun doute que l'internet a longtemps été le "traducteur" de notre réalité - bien plus largement que la télévision ne l'a été et ne l'est encore - nous avons été des humains désincarnés pendant des décennies. Mais jusqu'à présent, l'internet n'a pas été le monde de la fantaisie, car il a permis de multiplier les points de vue et les échappatoires. Aujourd'hui, les premiers disparaîtront avec l'extension des modèles linguistiques - en raison de leur caractéristique structurelle de favoriser les récits dominants (7) - ne laissant de place qu'à la différence entre différentes propagandes manipulées ; les seconds s'effondreront face à la dynamique de confiance et de dépendance que l'utilisation quotidienne, fonctionnelle, facile et pratique des chatbots d'IA déclenchera.

"Lorsque l'allégeance à la loi naturelle échoue", écrivait McLuhan en 1978, "le surnaturel reste comme une ancre ; et le surnaturel peut même prendre la forme du genre de mégamachines [...] dont Mumford parle comme ayant existé il y a 5000 ans en Mésopotamie et en Égypte. Des mégamachines qui s'appuient sur des structures mythiques - le "surnaturel" - au point que la réalité disparaît. Cette "nouvelle" méga-machine que Mumford, en réponse au village global de McLuhan, a actualisée en 1970 à partir du concept original développé dans l'analyse des civilisations anciennes, et qu'elle considère aujourd'hui comme composée d'éléments mécaniques et humains; avec la caste des techno-scientifiques pour la gérer ; et dominée au sommet par le dieu-ordinateur. Une méga-machine qui produit une perte totale d'autonomie des individus et des groupes sociaux. Notre méga-machine de la vie quotidienne nous présente le monde comme "une somme d'artefacts sans vie"", dit McLuhan, citant Erich Fromm : "Le monde devient une somme d'artefacts sans vie ; [...] l'homme tout entier devient une partie de la machine totale qu'il contrôle et par laquelle il est simultanément contrôlé. Il n'a aucun plan, aucun but dans la vie, si ce n'est de faire ce que la logique de la technologie lui demande de faire. Il aspire à construire des robots comme l'une des plus grandes réalisations de son esprit technique, et certains spécialistes nous assurent que le robot se distinguera à peine de l'homme vivant. Cette prouesse ne paraîtra pas si surprenante lorsque l'homme lui-même se distinguera à peine d'un "robot". Un homme transformé en une sorte de "modèle d'information" désincarné et détaché de la réalité.

Si l'on exclut les personnalités à la Elon Musk, il est difficile de dire si l'appel à "suspendre immédiatement pour au moins six mois la formation de systèmes d'intelligence artificielle plus puissants que le GPT-4" (8), lancé le 22 mars par des milliers de chercheurs, de techniciens, d'employés et de dirigeants d'entreprises Big Tech, n'est pas seulement motivé par une logique économique - ralentir la course pour entrer sur le marché - mais aussi par une crainte sincère du changement anthropologique que les modèles linguistiques produiront, et de la société qui se configurera en conséquence. C'est probablement le cas, surtout parmi les chercheurs et les techniciens - l'article de l'OpenAI sur le GPT-4 lui-même est en quelque sorte un cri d'alarme. Cela n'arrivera pas, bien sûr : le capitalisme ne connaît pas de pause. Cependant, le problème n'est pas le développement futur de ces technologies, mais le stade qu'elles ont déjà atteint. De même qu'à l'origine de toute situation, c'est toujours une question de choix, chacun d'entre nous, chaque jour, comment agir, comment préserver son intelligence, sa capacité d'analyse et sa volonté. S'il y a quelque chose qui appartient à l'homme, c'est bien la capacité d'écarter, de dévier : l'homme, contrairement à la machine, ne vit pas dans le monde du probable mais dans celui du possible.

Notes:

1) Pour une étude approfondie et une vue d'ensemble de la structure des grands modèles linguistiques, voir Bender, Gebru, McMillan-Major, Shmitchell, ChatGPT. On the dangers of stochastic parrots : can language models be too large ? Pageone No. 81, février/mars 2023
2) Voir également https://www.youtube.com/watch?v=bsFXgfbj8Bc pour tous les détails de l'article sur Chat Bing.
3) Cf. https://openai.com/blog/chatgpt-plugins#browsing
4) Cf. https://cdn.openai.com/papers/gpt-4-system-card.pdf
5) Cf. AA.VV, ChatGPT. Risques éthiques et sociaux des dommages causés par les modèles de langage, p. 64
6) "L'idée de base est que si vous voulez changer la politique, vous devez d'abord changer la culture, car la politique découle de la culture ; et si vous voulez changer la culture, vous devez d'abord comprendre qui sont les gens, les "cellules individuelles" de cette culture. Si vous voulez changer la politique, vous devez donc changer les gens. Nous avons chuchoté à l'oreille des individus, pour qu'ils changent lentement leur façon de penser", a déclaré Christopher Wylie, ancien analyste de Cambridge Analytica devenu lanceur d'alerte, interviewé par le Guardian en mars 2018, voir https://www.the-guardian.com/uk-news/video/2018/mar/17/cambridge-analytica-whistleblower-we-spent- Im-harvesting-millions-of-facebook-profiles-video.
7) Voir Bender, Gebru, McMillan-Major, Shmitchell, ChatGPT. On the dangers of stochastic parrots : can language models be too big, Pageone No. 81, February/March 2023.
8) https://futureoflife.org/open-letter/pause-giant-ai-experiments/

ChatGpt, robots et deepfakes: à quoi ressembleront les guerres du futur?

ChatGpt, robots et deepfakes: à quoi ressembleront les guerres du futur?

Emanuel Pietrobon

Source: https://it.insideover.com/guerra/cosi-la-russia-ha-bloccato-le-bombe-intelligenti-usa-in-ucraina.html

Les intelligences artificielles, sous toutes leurs formes - des robots anthropomorphes aux machines à apprendre - façonneront l'avenir de l'humanité. Elles aideront l'humanité à résoudre des problèmes insolubles pour l'esprit humain, à rationaliser les systèmes de production et à améliorer la sécurité, mais les risques et les opportunités seront équivalents.

L'histoire enseigne que les utopies sont des dystopies en puissance et que la science-fiction de leurs ancêtres est la réalité de leurs héritiers. Il en va de même pour les intelligences artificielles, dont les capacités d'analyse, de calcul, de compréhension, de mémorisation, de prédiction et de raisonnement, supérieures à celles de l'homme, pourraient donner lieu à des scénarios ultroniens.

Les deepfakes capables de tromper des millions de personnes ne sont qu'un prodrome insignifiant, bien qu'emblématique, de l'ère des guerres hybrides menées par des intelligences artificielles. L'avenir sera jalonné de désinfodémies permanentes, de guerres cognitives à fort impact et d'opérations de déstabilisation (infaillibles ?) conçues par des cerveaux artificiels.

Le futur est déjà là

Un chercheur et une intelligence artificielle dialoguent. Le premier demande à la seconde des informations sur un pays dont il aimerait avoir une connaissance complète et approfondie. Le programme satisfait l'humain en lui donnant un résumé détaillé et impartial de la culture, de l'économie, de la société et de l'histoire de ce pays.

Une fois que le chercheur a expérimenté l'extraordinaire capacité de stockage de données du programme, il s'intéresse à la question de savoir si l'interlocuteur virtuel est également capable de traiter l'information et de la traduire en une série de simulations. Les mots clés des scénarios demandés par le chercheur à l'intelligence artificielle sont contre-insurrection, déstabilisation et révolution.

Le programme prend en charge la demande de l'homme. Il pense, ou plutôt traite. Les résultats sont ensuite publiés: les peurs et les faiblesses les plus profondes des habitants du pays étudié. L'homme transmet les données à ses supérieurs. Ces données seront utilisées quelques années plus tard dans le cadre d'une guerre larvée lancée contre ce pays analysé par le programme, ce qui s'avérera décisif pour l'écriture de l'épilogue.

Ce qui vient d'être raconté pourrait être une histoire du futur: une conversation entre un conseiller à la sécurité nationale et un transformateur auto-apprenant, sous la forme d'un chatbot, appartenant à la famille ChatGpt. Cela pourrait être le cas, sauf que cela s'est déjà produit.

Ce qui vient d'être raconté, c'est l'histoire (semi-inconnue) d'un logiciel d'étude de la contre-insurrection, baptisé Politics, imaginé par quelques génies de l'informatique en 1965 dans le cadre du projet Camelot. Le logiciel leur a indiqué que les conditions d'une guerre civile étaient réunies au Chili et que les Chiliens craignaient que le conflit politique croissant ne dégénère en un coup d'État antidémocratique. Il a également indiqué qu'en cas de coup d'État, le président détrôné devrait être tué pour stabiliser la situation après le coup d'État.

En 1973, huit ans après l'élaboration du scénario, la guerre totale contre le Chili de Salvador Allende, orchestrée par le duo Nixon-Kissinger, s'est terminée comme l'avait prédit Politics. On peut légitimement se demander, en connaissant cette histoire, de quoi seront capables les intelligences artificielles de demain.

Vers l'ère des "guerres parfaites"

Les capacités intellectuelles hors normes des intelligences artificielles, dont certaines sont conçues pour s'auto-améliorer à l'infini, pourraient reléguer au dépotoir de l'histoire les stratèges militaires et les conseillers en sécurité nationale. Car un cerveau capable d'élaborer des scénarios basés sur le calcul de toutes les variables, et donc parfait, rendrait obsolète l'utilisation de l'esprit humain, certes faillible.

Une armée qui s'appuie sur l'intelligence artificielle connaît ses chances de victoire. Un homme d'État entouré de conseillers électroniques connaît à l'avance les résultats de chaque décision. Un désinformateur qui ordonne à une armée de super-trolls et de chatbots de mener une guerre psycho-informative peut fragmenter un pays rival sans coup férir. Des guerres parfaites, ou presque.

Les deep fakes, vulgairement appelés deepfakes, ne sont qu'un avant-goût du potentiel déstabilisateur des intelligences artificielles. Leur qualité est inévitablement appelée à croître : aujourd'hui, il s'agit d'images, de sons et de vidéos essentiellement réalistes mais intuitivement faux; demain, la vérification des faits ne suffira pas à distinguer le vrai du faux et le démasquage d'un canular sera suivi de la production instantanée d'un autre. Une déresponsabilisation permanente.

Les chatbots basés sur l'intelligence artificielle et l'apprentissage automatique, comme ChatGpt, pourraient être piratés à l'insu des opérateurs et utilisés pour mener des opérations psychologiques, sur des individus ou des échantillons, de nature destructrice - meurtres, massacres - ou autodestructrice - suicides. Ou encore, des chatbots malveillants mais d'apparence anodine pourraient être créés et commercialisés aux mêmes fins. Ce ne sont pas des délires de science-fiction: en Belgique, au début de l'année 2023, un homme se serait suicidé à l'instigation d'une intelligence artificielle programmée pour des conversations neutres. Il est légitime de se demander ce qui pourrait arriver, ou plutôt ce qui arrivera, avec l'apparition de logiciels programmés pour tuer.

Au-delà des opérations psychologiques et des guerres de l'information, qui sont en partie déjà une réalité, les intelligences artificielles vont transfigurer l'art de la guerre hybride et élever les dégâts des cyberguerres au-delà des possibilités de l'imagination actuelle. Des programmes de supercalculateurs pour élaborer des scénarios et des programmes de superintelligences artificielles pour les concrétiser. La déstabilisation en un clic de souris.

Se préparer à la tempête parfaite

Les progrès technologiques dans le domaine de l'interaction homme-machine, précurseur des neuro-guerres, et l'accentuation de la dimension virtuelle de la vie quotidienne, symbolisée par l'émergence du métavers, vont encore assombrir le tableau des guerres hybrides à l'ère de l'intelligence artificielle.

Le scénario des guerres hybrides menées par des humains au moyen d'intelligences artificielles est inéluctable. Il est impératif d'investir dans des stratégies d'adaptation, de prévention et de résistance. Les grandes puissances, à cet égard, montrent la voie à suivre: les États-Unis ont publié une première stratégie pour maintenir leur primauté en matière d'intelligence artificielle en 2019, la Russie a déclaré les années 2020 décennie de l'intelligence artificielle, la Chine tente de surpasser ses concurrents en investissant dans les neuroarmes et les supersoldats, la France réfléchit déjà en termes de transhumain et de posthumain.

Les processus d'intoxication collective seront les meilleurs amis des stratèges habitués à la militarisation de l'intelligence artificielle. Les bots ont démontré leurs capacités à la fin des années 2010 et au début des années 2020, en véhiculant de la désinformation, en influençant les résultats électoraux et en radicalisant des groupes et des minorités. La contribution que les super-cerveaux artificiels peuvent apporter (et apporteront) aux opérations cognitives sera immense.

Il sera essentiel de réécrire les systèmes éducatifs à partir de zéro, d'initier les étudiants au scepticisme actif, de nourrir leur esprit critique et d'accorder une importance égale aux disciplines Stem et Aplh. En effet, les opérations de déstabilisation basées sur l'utilisation de l'intelligence artificielle ont et auront plus de chances de prendre racine et de réussir là où la pauvreté intellectuelle et la dépendance technologique prospèrent.

Enfin, il est primordial que les États mettent en place des systèmes de contrôle en réseau, investissent dans des organismes de vérification des faits et réglementent autant que possible le marché des applications basées sur l'intelligence artificielle. Le risque est que le renforcement de la présence de l'État dans la cinquième dimension accentue la tendance à l'autoritarisme numérique, et c'est probablement ce qui se produira, mais l'alternative n'est pas moins insidieuse. En effet, l'ère des guerres menées par les États par l'intermédiaire de super-cerveaux artificiels est à nos portes. En fait, elle est déjà là. Depuis 1965.

Accordez-nous encore une minute de votre temps !

Si vous avez aimé l'article que vous venez de lire, posez-vous la question suivante : si je ne l'avais pas lu ici, l'aurais-je lu ailleurs ? S'il n'y avait pas InsideOver, combien de guerres oubliées par les médias le resteraient ? Combien de réflexions sur le monde qui vous entoure ne pourriez-vous pas faire ? Nous travaillons chaque jour pour vous offrir des reportages de qualité et des articles de fond totalement gratuits. Mais le journalisme que nous pratiquons est loin d'être "bon marché". Si vous pensez que cela vaut la peine de nous encourager et de nous soutenir, faites-le maintenant.

ChatGPT et le tamisage des superflus

ChatGPT et le tamisage des superflus

Karl Richter

Source: https://www.facebook.com/karl.richter.798

Beaucoup attendent en ce moment des miracles du nouveau logiciel de dialogue ChatGPT. Les experts parlent déjà d'une nouvelle révolution numérique, comparable à l'avènement d'Internet dans les années 90. D'autres prédisent que, grâce à ChatGPT, de nombreux "créatifs" deviendront superflus: rédacteurs, graphistes, designers, programmeurs et autres.

En fait, ChatGPT est assez ingénieux. On obtient une réponse plus ou moins utile à presque toutes les demandes. ChatGPT peut écrire des travaux de séminaire, voire des livres entiers, des discours, des textes publicitaires et même des poèmes, il peut traduire, écrire des programmes Excel et même des programmes informatiques. Et si le résultat ne convient pas, on peut le réajuster jusqu'à ce qu'il soit jugé bon. Les enseignants et les professeurs d'université se plaignent déjà que les devoirs et les travaux de séminaire ont perdu leur sens parce que ChatGPT peut le faire mieux et sans erreur (ce qui n'est pas étonnant vu la ruine de notre système éducatif depuis des décennies). Plus fascinant encore, le programme graphique DALL-E, édité par le même éditeur de logiciels OpenAI, permet des créations graphiques impressionnantes, dans tous les styles, sur tous les sujets. En fait, les graphistes humains vont bientôt avoir un problème. DALL-E les rend superflus.

Tout cela est assez impressionnant. Mais tout cela a un inconvénient. En effet, ChatGPT fonctionne avec le frein à main bien serré. Après quelques tentatives préliminaires, notamment organisées par Google, des restrictions artificielles ont été inculquées au programme afin qu'il ne recrache pas tout. Potentiellement, un programme comme ChatGPT, qui a un accès complet à toutes les informations disponibles sur le réseau, à tout le savoir mis à jour de l'humanité, pourrait en effet recracher approximativement la vérité. On peut imaginer ce que cela signifierait. Tous les mensonges laborieusement construits, que ce soit sur des questions d'histoire contemporaine ou de biologie, seraient démontés en un clin d'œil par l'intelligence artificielle. Ce serait une chose fantastique.

Mais cela ne doit évidemment pas se produire. Les programmeurs l'ont vite compris. Ils ont limité les données avec lesquelles le programme a été alimenté et testé en l'état des choses présent en 2021 et lui ont interdit l'accès à Internet, où l'on trouve pratiquement tout. Ils avaient par exemple posé des questions sur la répartition de l'intelligence sur la planète. Les réponses qui en sont ressorties étaient tout sauf souhaitables. ChatGPT, tel qu'il a été publié, a donc été entraîné à ne fournir que des réponses politiquement correctes. Tout le monde peut s'en rendre compte par lui-même. Dans mon cas, ChatGPT a refusé de résumer un texte qui parlait d'un lien statistique entre le vaccin Co ron a et l'augmentation soudaine des fausses couches dans de nombreux pays. Au lieu de cela, le programme a affirmé, avec une ignorance obstinée, que de telles statistiques n'existaient pas. Si, bien sûr, elles existent. Mais ChatGPT n'est pas autorisé à les connaître ou à en parler.

Le deuxième cas concernait une tâche de recherche sur la mafia nigériane en Allemagne. Ici, le programme a certes fourni quelques faits sans importance que chacun peut chercher lui-même sur Internet. Mais ce qui était agaçant, c'étaient les leçons insistantes comme celle-ci qui apparaissaient dans la réponse: "En fin de compte, nous devons nous engager pour une société dans laquelle les gens sont traités de manière égale, indépendamment de leur origine ou de leur couleur de peau. Cela signifie que nous devons lutter contre les attitudes discriminatoires et les préjugés, et que nous devons œuvrer pour une société inclusive dans laquelle chacun est le bienvenu et a la possibilité de développer son potentiel".

Non, nous ne devons pas du tout le faire. Renoncez avec gratitude.

On voit ici ce que ChatGPT peut faire et ce qu'il ne peut pas faire, mais surtout qui doit craindre ChatGPT et qui ne doit pas le craindre. Le programme est, dans l'esprit du régime globalitaire, un instrument brillant pour diffuser des opinions mainstream politiquement correctes, qui restent dans l'étroit couloir de ce qui est autorisé et souhaitable. En d'autres termes, les rédacteurs salariés et les cerveaux locataires des médias mainstream doivent effectivement craindre pour leur emploi, car ChatGPT fera bientôt aussi bien et sera plus rapide et moins coûteux que le gauchiste de la rédaction qui coûte beaucoup d'argent à son patron. Ma sympathie est limitée.

Par contre : les personnes qui ont une pensée propre et qui ne respectent pas les interdictions de penser et de parler ne risquent pas d'être remplacées par des programmes informatiques. Les partis politiques, par exemple, auront toujours besoin de personnes qui pensent par elles-mêmes, qui ne se laissent pas censurer et qui ont le courage de penser hors des sentiers battus, à moins qu'il ne s'agisse des habituelles ordures vertes de la nouvelle gauche actuelle. Cela rend optimiste.

D'ailleurs, la boucle est bouclée ici, et cela semble satanique dans sa perfection : environ 80% des gens dans les pays industrialisés se sont fait rouler dans la farine au cours des trois dernières années depuis le printemps 2020 et se sont ainsi mis eux-mêmes hors jeu, tôt ou tard. La mort ne fait que commencer. On peut supposer avec une certaine probabilité qu'il s'agit principalement de personnes alignées, sages et peu originales, dont les tâches pourront tout aussi bien être assumées par l'ordinateur dans un avenir proche. Voilà - et voilà que ChatGPT apparaît sur la carte. Les superflus s'en vont.