Super AI sortira d'ici sept ans, OpenAI a l'intention d'investir "beaucoup d'argent" pour éviter de perdre le contrôle

**Source : **Association financière

Édité par Huang Junzhi

Le développeur de ChatGPT, OpenAI, a déclaré mercredi (5) que la société prévoyait d’investir des ressources importantes et de créer une nouvelle équipe de recherche pour s’assurer que son intelligence artificielle (IA) est sans danger pour les humains et éventuellement réaliser l’auto-supervision de l’IA.

“L’immense pouvoir d’une superintelligence pourrait … conduire à la déresponsabilisation humaine, voire à l’extinction”, ont écrit le co-fondateur d’OpenAI Ilya Sutskever et Jan Leike, chef de l’équipe de cohérence de l’IA chargée d’améliorer la sécurité du système, dans un article de blog. .

“Actuellement, nous n’avons pas de solution pour manipuler ou contrôler une IA potentiellement super intelligente et l’empêcher de devenir incontrôlable”, ont-ils écrit.

L’alignement de l’IA fait référence à la nécessité pour le comportement de l’IA d’être conforme aux intérêts et aux attentes du concepteur.

** 20 % de puissance de calcul sont utilisés pour résoudre le problème de l’IA hors de contrôle **

Ils prédisent que l’IA superintelligente (c’est-à-dire des systèmes plus intelligents que les humains) pourrait arriver dans cette décennie (d’ici 2030), et que les humains auront besoin d’une meilleure technologie qu’actuellement pour contrôler l’IA superintelligente, ils doivent donc être dans la soi-disant Une percée dans l’étude sur la cohérence de l’IA, qui vise à garantir que l’intelligence artificielle est bénéfique pour l’homme.

Selon eux, avec le soutien de Microsoft (Microsoft), **OpenAI consacrera 20% de sa puissance de calcul dans les quatre prochaines années pour résoudre le problème de l’IA hors de contrôle. ** De plus, l’entreprise forme une nouvelle équipe pour organiser ce travail, appelée l’équipe de super cohérence.

Il est rapporté que l’objectif de l’équipe est de créer un chercheur en IA “au niveau humain”, qui peut ensuite être étendu par une grande quantité de puissance de calcul. OpenAI dit que cela signifie qu’ils utiliseront la rétroaction humaine pour former le système d’IA, former le système d’IA pour faciliter l’évaluation humaine, puis enfin former le système d’IA pour faire l’étude de cohérence réelle.

Expert interrogé

Cependant, cette décision a été remise en question par les experts dès son annonce. Connor Leahy, un défenseur de la sécurité de l’IA, a déclaré que le plan d’OpenAI était fondamentalement défectueux car une version rudimentaire de l’IA qui pourrait atteindre des “niveaux humains” pourrait devenir incontrôlable et faire des ravages avant de pouvoir être utilisée pour résoudre les problèmes de sécurité de l’IA. "

“Vous devez résoudre le problème de cohérence avant de pouvoir construire une intelligence au niveau humain, sinon vous ne pouvez pas la contrôler par défaut. Personnellement, je ne pense pas que ce soit un plan particulièrement bon ou sûr”, a-t-il déclaré dans une interview.

Les dangers potentiels de l’IA sont depuis longtemps une préoccupation majeure pour les chercheurs en IA et le public. En avril, un groupe de leaders et d’experts de l’industrie de l’IA a signé une lettre ouverte appelant à un moratoire sur la formation de systèmes d’IA plus puissants que le nouveau modèle GPT-4 d’OpenAI pendant au moins six mois, citant leurs risques potentiels pour la société et l’humanité.

Un récent sondage a révélé que plus des deux tiers des Américains sont préoccupés par l’impact négatif possible de l’IA, et 61% pensent que l’IA peut menacer la civilisation humaine.