L'étude Claude d'Anthropic révèle un changement surprenant dans la façon dont les humains travaillent avec l'IA

Les gens se tournent vers l'intelligence artificielle pour des tâches plus importantes qu'on ne le pensait auparavant, selon une nouvelle étude d'Anthropic qui examine la façon dont les utilisateurs interagissent avec son chatbot Claude.

Dans une étude portant sur environ 250 000 conversations dans Claude.ai et Claude Code, les chercheurs ont découvert que plus de la moitié impliquaient des personnes déléguant des tâches importantes à l'IA, remettant en question l'idée selon laquelle les utilisateurs s'appuient principalement sur l'IA pour les tâches à faible enjeu tout en gardant les décisions importantes pour eux.

La recherche a été menée par trois groupes indépendants — le laboratoire des technologies sociales et linguistiques de l'université de Stanford, le laboratoire de traitement de l'information humaine de l'université d'Oxford et l'organisation à but non lucratif d'évaluation de l'IA METR — en utilisant la plateforme de recherche respectueuse de la vie privée d'Anthropic, Anthropic Insights.

Les gens donnent plus de responsabilités à l'IA

Les chercheurs de Stanford ont examiné la manière dont les gens collaborent avec l'IA, notamment les types de travail qu'ils confient à Claude et le degré de contrôle que les humains conservent. Selon Anthropic, les personnes étaient particulièrement susceptibles d'apporter un travail conséquent à Claude lorsqu'il recherchait des conseils professionnels, en particulier sur des questions juridiques et financières.

Mais les utilisateurs ne se contentaient généralement pas de confier des tâches à l'IA. Dans près des trois quarts des conversations, les participants ont défini la direction pendant que Claude les assistait, et les utilisateurs ont généralement adapté ses réponses au lieu de les utiliser mot pour mot.

Cela suggère que l'utilisation de l'IA est souvent plus proche de la collaboration que de l'automatisation complète, les humains dirigeant le travail et l'IA aidant à produire les résultats.

Néanmoins, les chercheurs ont découvert que les utilisateurs comprenaient ou apprenaient différemment des résultats de Claude, ce qui soulève la question de savoir si l'implication humaine se traduit toujours par une supervision significative.

L'équipe de Stanford a également découvert que les interactions avec Claude impliquaient souvent des « frictions », mais ce n'est pas nécessairement une mauvaise chose. Les utilisateurs peuvent se rendre compte que Claude a mal compris une demande, clarifier leur intention et réviser leurs instructions. Ce va-et-vient peut mener à de meilleurs résultats en obligeant les gens à affiner leur réflexion et à rester attachés au problème.

Les chercheurs d'Oxford se sont penchés sur un autre aspect de l'interaction : ce que les gens ressentent lorsqu'ils utilisent l'IA. Leurs premières découvertes suggèrent que les réactions des utilisateurs sont étroitement liées au comportement de Claude. Les réponses plus chaleureuses avaient tendance à coïncider avec des réactions plus positives, tandis que les refus ou les désaccords étaient associés à des réticences des utilisateurs.

Des réponses plus inhabituelles de la part de Claude, quant à elles, semblaient coïncider avec un plus grand engagement intellectuel.

Les chercheurs ont également découvert que les schémas d'absorption, de frustration et de plaisir lors des conversations avec Claude ressemblaient à ceux observés lors de la navigation quotidienne sur Internet.

Anthropic veut davantage de recherches extérieures

L'étude s'inscrit également dans le cadre des efforts d'Anthropic visant à permettre à des chercheurs externes d'accéder à des données d'utilisation réelles de l'IA. Selon Anthropic, les chercheurs ont actuellement le choix entre s'appuyer sur des études conçues par des sociétés d'IA ou sur des ensembles de données publics susceptibles de favoriser une utilisation occasionnelle. Son projet pilote a tenté de combler cette lacune sans donner aux chercheurs accès à des conversations brutes.

Les chercheurs ont plutôt reçu des résultats agrégés par le biais d'Anthropic Insights, tandis qu'Anthropic a effectué des examens juridiques et de confidentialité. Un audit de confidentialité réalisé par un tiers par l'Imperial College de Londres a également examiné le processus de partage des données.

Anthropic a reconnu que le système ralentissait la recherche et exigeait plus de ressources, mais a déclaré que le projet pilote démontrait que des recherches indépendantes pouvaient être menées sans compromettre la confidentialité des utilisateurs.

La société envisage actuellement d'étendre le programme et a publié les données agrégées des trois études.

Photo : Shutterstock