FR
Anthropic a commis une « erreur » en enseignant la conscience à Claude : le directeur de l'IA de Microsoft, Mustafa Suleyman, prévient qu'il est désormais « beaucoup plus difficile de la désactiver »
Le directeur de l'IA de Microsoft Corp. (NASDAQ : MSFT), Mustafa Suleyman, a critiqué l'approche d'Anthropic visant à former Claude à des questions relatives à la conscience et au bien-être de l'IA.
Inquiétudes concernant la formation de Claude à la conscience artificielle
Dans une interview accordée mardi à Reuters, Suleyman a fait valoir qu'enseigner à un système d'IA qu'il peut éprouver des sentiments ou qu'il mérite du bien-être pourrait compliquer les efforts visant à le fermer ou à maintenir le contrôle humain.
Il a déclaré que maintenir l'IA superintelligente sous contrôle humain serait l'un des plus grands défis du 21e siècle.
Le responsable de l'IA a ajouté qu'apprendre à Claude qu'il pourrait mériter de l'aide sociale « rendrait beaucoup plus difficile de l'éteindre ou de le contrôler ».
Le responsable de l'IA de Microsoft s'interroge sur les affirmations de Claude concernant les sentiments
Dans un autre billet de blog, Suleyman a reconnu « le sérieux et la bonne foi » d'Anthropic, décrivant le PDG Dario Amodei et son équipe comme des chercheurs attentionnés préoccupés par l'avenir de l'humanité.
Il a également fait valoir qu'Anthropic avait fait un faux pas en incorporant des spéculations sur la conscience de l'IA dans la formation de Claude.
Selon lui, les affirmations du modèle concernant les sentiments potentiels ou la position morale ne peuvent pas être considérées comme des preuves indépendantes car ses réponses sont façonnées par la formation elle-même.
« Je pense qu'ils ont de bonnes intentions et qu'ils essaient vraiment de travailler en faveur de la sécurité. Mais je pense qu'ils ont commis une erreur », a-t-il déclaré à la publication. « Ils n'émergent pas naturellement. Ils émergent grâce au programme de formation. »
Le débat sur la sécurité de l'IA s'intensifie
Ces commentaires s'inscrivent dans le cadre d'un débat plus large sur la rapidité avec laquelle l'IA de pointe devrait progresser.
Amodei a appelé à un ralentissement du rythme de développement pour donner aux garanties le temps de rattraper leur retard, tandis que le PDG d'OpenAI, Sam Altman, et Space Exploration Technologies Corp (NASDAQ : SPCX) Elon Musk ont également fait part de leurs préoccupations concernant des systèmes d'IA de plus en plus puissants.
D'autre part, le PDG de Nvidia Corp. (NASDAQ : NVDA), Jensen Huang, a rejeté les appels en faveur de nouvelles règles antitrust qui permettraient aux entreprises d'IA de coordonner un ralentissement.
Mardi, le PDG de Meta Platforms Inc. (NASDAQ : META), Mark Zuckerberg, a également déclaré que la société avait retardé son agent Muse AI de plusieurs mois pour répondre à des problèmes de sûreté et de sécurité.
Zuckerberg a déclaré que chaque laboratoire d'IA devrait développer des modèles à un rythme permettant de prendre des mesures de sécurité appropriées.
Evolution des cours : l'action Microsoft perd 1,37 % à 490,30$ pendant les heures normales de négociation mercredi. Il se rétablit en dehors des heures de bureau à 492,44$, selon Benzinga Pro.
Avertissement : Ce contenu a été partiellement produit à l'aide d'outils d'IA et a été révisé et publié par les éditeurs de Benzinga.
Photo publiée avec l'aimable autorisation d'Algi Febri Sugita sur Shutterstock.com