aiAbstractCheck - Détection de résumé scientifique généré par IA

Malgré les contrôles qualité que nous effectuons avant de mettre nos web services en production, les outils d'IA peuvent commettre des erreurs. Nous vous recommandons de vérifier les informations importantes.

Niveau d'utilisation :  Débutant
Niveau de validation :  Expérimental
Objectif

Ce web service détecte si le résumé d’un texte scientifique en anglais a été généré par intelligence artificielle ou non.

Méthode

Le modèle possède une architecture de type BERT. Il a été fine-tuné sur un mélange de résumés issus d’Istex, et de résumés générés via plusieurs LLMs (Mistral7b, Gwen3b, LLama3.2, Deepseek7b principalement, avec quelques données gpt4).

Métriques

La validation a été effectuée sur les jeux de données publiques suivants :
https://github.com/panagiotisanagnostou/AI-GA
https://www.kaggle.com/datasets/heleneeriksen/gpt-vs-human-a-corpus-of-research-abstracts

Ce modèle possède un f1-score de 0.88 en moyenne sur chacun des jeux de données.

Présent sur TDM Factory

Utilisation dans TDM Factory

Ce web service se lance sur :

  • un corpus Istex en anglais au format targz
  • un document en anglais au format txt avec un encodage UTF8
Présent sur Lodex

Utilisation dans Lodex

Sélectionnez le web service dans le catalogue :

Enrichissement : le web service traite chaque document l’un après l’autre. Exemple pour l’extraction de termes à partir du résumé. On parlera de web service synchrone.

Saisir cette URL https://aiabstract-check.services.istex.fr/v1/AiAbstract-check et sélectionner la colonne dédiée au résumé en anglais.
Sauvegarder et lancer le traitement
Pour récupérer la valeur souhaitée : GET et le nom du champ dont vous voulez extraire la donnée : isAiGenerated

Traitement
The Conditional Lie-Bäcklund Symmetry (CLBS) method is introduced to analyze systems of evolution equations. It is demonstrated that the ability to reduce a system of evolution equations to a system of ordinary differential equations can be entirely described by the CLBS of the given system. As an application, a specific class of two-component nonlinear diffusion equations is examined. The governing system and its corresponding CLBS are determined. Consequently, exact solutions are derived based on polynomial, exponential, trigonometric, and mixed invariant subspaces through symmetry reductions.” ==> {“isAiGenerated”: true,”score”: 1}

Vous avez un corpus constitué de résumés en anglais. Pour des raisons de qualité, d’évaluation, vous avez besoin de savoir s’ils ont été générés automatiquement ou s’ils ont été rédigés manuellement.

En lançant aiAbstractCheck sur vos résumés depuis Lodex, logiciel libre de visualisation, vous saurez ce qu’il en est et vous pourrez réaliser des représentations graphiques liées à la part de résumés générés par une intelligence artificielle ou par une personne.

Exemple à partir d’un corpus “Véganisme et végétarisme” de 1768 documents

En poursuivant votre navigation, sans modifier vos paramètres, vous acceptez l'utilisation et le dépôt de cookies destinés à mesurer la fréquentation du site grâce au logiciel Matomo.
OK
Modifier les paramètres