Ce web service analyse un corpus de résumés écrits en anglais pour en générer un résumé.

Plusieurs étapes sont réalisées pour parvenir au résumé :

1. 1. La ressemblance des documents est calculée grâce à leur vectorisation (embedding).
   2. La taille des vecteurs est réduite grâce à l’algorithme UMAP.
   3. Les proximités entre ces vecteurs sont comparés en utilisant la distance cosinus.
   4.  Les documents similaires sont regroupés en clusters (une thématique distincte par cluster) grâce à l’algorithme des k-means. Le nombre de clusters est déterminé de manière automatique.
   5. Pour chaque cluster, sont identifiés les documents les plus représentatifs (les plus proches de l’isobarycentre).
   6. Les mots clés les plus pertinents de l’ensemble des documents de chaque cluster sont extraits grâce au web service Teeft.

Tous ces éléments construisent une base de connaissances restreinte du corpus. Nous utilisons ensuite le modèle gemma-4-31b pour rédiger le résumé.

Nous n’avons actuellement ni données ni métriques pour évaluer cette tâche.

Pour l’algorithme UMAP :

• Leland McInnes, John Healy, James Melville (2018) UMAP : Uniform Manifold Approximation and Projection for Dimension Reduction arXiv:1802.03426 https://doi.org/10.48550/arXiv.1802.03426

Pour l’algorithme des k-means :

• Ahmed, M., Seraj, R., & Islam, S. M. S. (2020). The k-means Algorithm: A Comprehensive Survey and Performance Evaluation. Electronics, 9(8), 1295. https://doi.org/10.3390/electronics9081295

Résumé automatique d'un article scientifique

Extraction de termes d'un corpus

Extraction de clusters d'un corpus

Extraction de thématiques d'un corpus

Graphe de mots clés

Utilisation dans TDM Factory

Ce web service se lance sur :

– un corpus au format CSV
– un corpus Istex au format targz

Langues du résumé en sortie

• Anglais : https://data-corpussummarize.services.istex.fr/v1/abstract?langOutput=en
• Français : https://data-corpussummarize.services.istex.fr/v1/abstract?langOutput=fr