Alors que des fonds affluent massivement dans le développement de l'AGI, des chercheurs de Cambridge soulignent que l'humanité n'est toujours pas en mesure de vérifier si l'IA possède une conscience, appelant à maintenir une vigilance agnostique avant tout assouplissement de la réglementation. (Résumé : Comment, à l'ère de l'IA, utiliser Vibe Coding pour faire en sorte qu'Agent veille sur vous pendant la nuit.) (Contexte : Altman parle des défis de croissance d'OpenAI : la puissance de calcul est la plus grande limitation, l'augmentation des revenus doit reposer sur un doublement constant de la quantité de cartes graphiques)

Table des matières

• Dilemme de la boîte noire : la recherche sur la conscience n'a pas encore trouvé de solution.
• Conscience et capacité de perception : deux concepts souvent confondus
• Projection émotionnelle et mauvaise allocation des ressources
• Vide réglementaire et jeu de responsabilité

Les fonds mondiaux affluent vers le développement de l'AGI à un rythme sans précédent, les géants de la technologie et les capital-risqueurs rivalisent d'engagements, dans une course aux armements complète allant de la puissance de calcul aux modèles, en passant par les talents. Le marché parie que l'intelligence artificielle générale va remodeler la productivité et la structure des retours sur capital.

Cependant, plus tôt ce mois-ci, le philosophe de l'université de Cambridge Tom McClelland a rappelé dans un article publié dans la revue « Mind & Language » qu'il existe actuellement peu de preuves scientifiques pour prouver que l'IA possède une conscience, et qu'il se peut qu'il n'y en ait pas pendant longtemps. Les gens doivent réfléchir à l'allocation des ressources.

Si nous venons à créer par inadvertance une IA consciente ou dotée de capacité de perception, nous devons être prudents et éviter de causer des dommages.

Mais traiter quelque chose qui n'est en réalité qu'un grille-pain comme un être conscient, alors que nous causons de grands dommages à de véritables vies conscientes dans le monde réel, semble également être une énorme erreur.

Dilemme de la boîte noire : la recherche sur la conscience n'a pas encore trouvé de solution

McClelland souligne que l'humanité n'a même pas compris comment le cerveau transforme l'activité neuronale en expériences subjectives, sans parler d'analyser les milliards de paramètres qui composent des modèles de langage de grande taille.

Les fonctionnalistes actuels croient que tant que la complexité computationnelle est suffisante, une conscience de haut niveau émergera naturellement ; les biologistes essentialistes pensent que la conscience est le produit de la vie à base de carbone. Les deux parties n'ont aucune preuve mutuelle, et le débat ressemble à un saut de confiance hypothétique.

Conscience et capacité de perception : deux concepts confondus

Dans la promotion commerciale, les entreprises confondent souvent “conscience” et “capacité de perception”. McClelland indique que la conscience ne fait référence qu'au traitement et à la réaction aux informations externes ; la capacité de perception implique le plaisir et la douleur, influençant le statut moral.

Il a rappelé que si l'IA n'est qu'un système de calcul, les risques éthiques sont limités ; mais si les modèles futurs possèdent des capacités de perception, l'humanité devra réévaluer les frontières de la responsabilité.

La véritable clé est la capacité de perception. Si une machine ne peut pas ressentir la douleur, les gens n'ont en réalité pas besoin de s'inquiéter pour son bien-être.

Projection émotionnelle et mauvaise allocation des ressources

Pour augmenter l'engagement des utilisateurs, de nombreuses entreprises technologiques actuelles dotent les chatbots d'un ton humanisé, suscitant ainsi une projection émotionnelle.

McClelland l'appelle « poison existentiel », car la société pourrait ainsi mal répartir les ressources : cette spéculation autour de la conscience de l'intelligence artificielle a une signification éthique pour la répartition des ressources de recherche.

De plus en plus de preuves suggèrent que les crevettes pourraient être capables de ressentir de la douleur, cependant nous en tuons environ cinq cents milliards chaque année.

Tester si les crevettes ont une conscience est certes difficile, mais c'est loin d'être aussi difficile que de tester la conscience de l'intelligence artificielle…

vide réglementaire et jeu de responsabilité

Dans un contexte de décentralisation, le droit d'interpréter si l'IA a une âme est facilement contrôlé par les entreprises. Lorsque le marketing l'exige, les acteurs peuvent prétendre que le modèle a un soi ; lorsque le système échoue, causant des dommages, ils peuvent à nouveau affirmer que le produit n'est qu'un outil, tentant ainsi de se décharger de toute responsabilité. McClelland appelle les législateurs à établir un cadre de test unifié, tirant une ligne claire entre le risque et l'innovation.

Les marchés de capitaux pourraient bien dérouler le tapis rouge pour le « réveil de l'AGI », mais avant que la science ne puisse vérifier les capacités de perception de l'IA, admettre activement son ignorance et maintenir une distance prudente pourrait être la solution rationnelle.