Les détecteurs de texte généré par IA sont-ils fiables ?
Savoir si un texte est écrit par une IA ou non devient un enjeu majeur, mais les outils de détections actuels montrent assez vite leurs limites.
Selon une étude réalisée par Diplomeo, « 78 % des 16-25 ans utilisent l’IA pour leurs études et leur orientation, dont 25 % toutes les semaines. » Une tendance qui inquiète notamment les enseignants avec la peur de voir des travaux rendus qui ne sont pas rédigés par l’étudiant lui-même, mais par l’IA. Sur les 78 % des jeunes qui utilisent l’IA, « 35 % affirment rédiger tout ou en partie leurs devoirs grâce à des sites comme ChatGPT« . Les détecteurs d’intelligence artificielle jouent donc un rôle essentiel dans cette traque à la triche. Mais sont-ils fiables, et peut-on vraiment s’appuyer dessus ?
Comment fonctionne un détecteur d’IA ?
Les vérificateurs d’IA ne sont pas magiques, ils n’indiquent pas le pourcentage exact de texte généré par de l’intelligence artificielle. Ces outils se basent sur des probabilités. Ainsi, le pourcentage que le détecteur vous fournit n’est finalement qu’une estimation de la probabilité que le texte vérifié a été créé avec une IA. Mais sur quoi se base l’outil pour prétendre qu’une IA ait été utilisée ou non ?
La plupart du temps, les détecteurs se basent eux-mêmes sur des modèles de langage comme ChatGPT, Gemini ou Claude. Cela leur permet de vérifier plus facilement si le texte saisi a pu être créé par une IA. Les modèles comme ChatGPT essaient de prédire les mots qui sont le plus susceptibles d’être utilisés à la suite du texte. Si le détecteur discerne des concordances entre le texte rédigé par l’IA et celui inséré dans l’outil, il y a plus de chances que ce dernier soit écrit par une intelligence artificielle.
Enfin, les fautes de grammaire ou d’orthographe sont un élément important contrôlé par le vérificateur. L’erreur est possible, mais elle est surtout humaine. Plus votre texte contient des fautes, plus l’IA pensera qu’il est écrit par un humain.
Peut-on vraiment se fier aux détecteurs d’IA ?
La réponse est claire : non. Bien que les détecteurs s’améliorent de jour en jour, il est encore très compliqué de leur faire confiance à 100 %. Les textes copiés depuis ChatGPT sont assez faciles à détecter, mais encore de nombreux contenus rédigés par un humain sont assimilés à une IA.
Ces erreurs de l’IA sont appelées « faux positifs », et ils apparaissent principalement lorsqu’un texte suit des structures très codifiées, comme les introductions ou les conclusions. Ces passages reprennent souvent des formulations récurrentes telles que « comme nous avons pu le voir » ou « pour conclure, nous pouvons affirmer que », ce qui les rend suspectés à tort d’avoir été produits par une intelligence artificielle. Les articles d’actualité ou sous forme de listes sont eux aussi régulièrement reconnus comme faux positifs.
Les contenus avec peu de complexité et une suite logique comme : « Nos parents attendent devant le gymnase que nous sortions de notre séance de sport » pourraient être analysés comme généré par IA. Cette phrase est logique et les mots sont facilement prévisibles, ce qui se rapproche de la façon de travailler des modèles de langage. En revanche, un texte comme : « Nos parents attendent devant le gymnase pour aller chercher le pain et prendre l’avion » est moins attendu. Il est donc assez peu probable qu’une IA puisse générer une telle phrase.
En comprenant le fonctionnement de l’IA et des outils de détection, il devient relativement simple de contourner ces systèmes. Cela soulève une problématique importante notamment dans le domaine de l’enseignement, où plane une incertitude autour de l’origine réelle des devoirs rendus : ont-ils été rédigés par les étudiants eux-mêmes ou générés par une IA ? Sanctionner un travail suspecté d’avoir été produit par un modèle de langage devient alors délicat, surtout en l’absence de preuve formelle. Et on imagine difficilement le milieu universitaire valoriser les fautes d’orthographe…
Source: BFM
