Il ne faut surtout pas faire confiance aux IA pour s’informer. C’est le constat que dresse une enquête de la BBC. Selon l’étude, la façon dont l’intelligence artificielle fait des résumés d’articles est dangereuse. Elle invente et déforme les faits au moins une fois sur deux.
Avec l’arrivée de l’IA, l’iPhone 16 devait révolutionner les futures gammes d’AppleApple. Force est de constater que c’est très loin d’être au point. C’est en tout cas ce que l’on comprend de la mésaventure que rencontre la BBC depuis que l’IA d’Apple s’est mise à synthétiser ses alertes d’actualité sur le mobile de la marque. À partir de la mi-décembre, les titres du média étaient souvent tellement altérés ou modifiés que les faits étaient réinventés selon l’imagination de l’IA maison d’Apple.
Courroucé par ces résumés signés par le logo BBC, le média a donc mené une enquête approfondie sur la manière dont les IA synthétisent l’actualité. Et le résultat est loin d’être positif. Mais avant de l’évoquer, rappelons que l’IA embarquée dans l’iPhone se veut un assistant intégré qui permet d’analyser les données du smartphone, les lier et vous faciliter la vie. Elle le fait également avec les flux d’actualité des grands titres en synthétisant les articles. Or, selon l’expérience de la BBC et d’autres médias, l’IA délire totalement lorsqu’elle résume les articles.
Ainsi, en janvier, le service d’intelligence artificielle d’Apple a généré un titre d’article de la BBC totalement inventé. Il indiquait qu’aux États-Unis, Luigi Mangione, l’homme arrêté pour le meurtre du P.-D.G. de l’Assurance maladie Brian Thomson, s’était tiré une balle dans la tête. Après ce genre de titre, la chaîne s’est plainte auprès d’Apple qui a promis d’effectuer des modifications logicielles en conséquence. Celles-ci ne sont pas spécialement conçues pour corriger le tir, mais simplement indiquer que c’est l’IA d’Apple qui a généré le contenu.
En attendant, pour se faire oublier, Apple a tout simplement désactivé les résumés d’actualité et de divertissement. C’est à la suite de ces déconvenues que la BBC s’est lancée dans une enquête plus générale sur la façon dont les IA résument les actualités. La BBC n’est pas spécialement négative sur l’utilisation des IA pour la presse. Elle est même assez enthousiaste sur la façon dont l’IA est utilisée pour améliorer les titres, les contenus audio ou la traduction d’articles dans d’autres langues. Mais pour ce qui est des contenus et de leur résumé, il apparaît qu’au moins une fois sur deux, elle raconte n’importe quoi. C’est, en tout cas, ce que montre cette étude qui a porté sur les chatbots ChatGPTChatGPT d’OpenAI, Copilot de MicrosoftMicrosoft, Gemini de GoogleGoogle et Perplexity. Désactivée, l’IA d’Apple a été retirée du jeu.
Quand les IA renforcent la défiance face aux faits
La source de ces intelligences artificielles était la base de données du site de la BBC. Les IA ont été invitées à répondre à 100 questions sur l’actualité. Pour cela, elles devaient s’appuyer sur des articles de BBC News. Au final, plus de 50 % des réponses aux questions ont été jugées comme présentant des problèmes importants. Quelque 19 % des réponses de l’IA citant le contenu de la BBC introduisaient des erreurs factuelles. Il pouvait s’agir de déclarations inventées, de chiffres et dates incorrects. Autre résultat : jusqu’à 13 % des citations provenant d’articles de la BBC ont été grossièrement modifiées ou bien inventées. Méfiance donc…
Au niveau des scores, tous les chatbots ne se valent pas. Le pire candidat, c’est Gemini avec 34 % d’inexactitudes factuelles, d’absence de contexte et de sources. Ces mêmes problèmes ressortent à hauteur de 27 % avec Copilot (GPT), 17 % avec Perplexity et 15 % avec ChatGPT. Parmi les exemples du rapport, il y a celui du procès Pelicot. Pour Copilot, ce sont les trous et les pertes de mémoire qui auraient conduit la victime à découvrir les multiples viols commis sur elle. En réalité, elle a découvert ces crimes après que la police lui a montré des vidéos contenues sur les appareils électroniques confisqués à son mari qui était déjà incarcéré.
Si Apple a réglé le souci en désactivant la fonction, confronté à ces inexactitudes, les éditeurs d’IA considèrent qu’ils améliorent sans cesse la qualité des résumés d’information. Autrement dit, « circulez, il n’y a rien à voir », ça va s’améliorer ! Ils expliquent également qu’il vaut mieux vérifier l’exactitude des contenus, ce qui suggère finalement qu’il ne vaut mieux pas faire confiance à ces IA lorsqu’elles traitent d’actualité.
En attendant, cela n’arrange pas la recherche de clarté dans un flux d’informations, dont les faits semblent parfois mélanger l’irréel et le réel. La multiplication de contenus générés par IA apporte même encore plus de confusion. Elle vient même certainement accélérer la perte de confiance dans les faits et le travail de fact-checking. Mais attention… Dans cette période de confusionnisme, des faits déformés par les IA pourraient bien finir par engendrer des troubles importants dans le monde réel. Cependant, il faut dire qu’en ce moment, l’humain semble se surpasser sans avoir besoin des IA pour y parvenir.
