Ce web service propose des termes anglais pour compléter l’équation de recherche initiale rédigée pour IstexSearch et permet aussi de mettre en évidence le vocabulaire utilisé autour des concepts clés.

Plusieurs étapes sont réalisées :

1. Extraction des termes initiaux de la requête IstexSearch présente dans le fichier manifest.json, en utilisant des expressions régulières ciblant les champs title et abstract (cf. Tableau d’exemples de syntaxe).
2. Prétraitement des résumés récupérés lors de la requête initiale : tokenisation, suppression des mots vides et extraction d’unigrammes/bigrammes via le POS-tagging.
3. Calcul des embeddings avec Fasttext des mots du corpus de résumés et des termes initiaux de la requête, apparaissant au moins 5 fois.  (Attention : Les termes initiaux doivent être dans le corpus.)
4. Comparaison des embeddings des termes initiaux à ceux des autres mots du corpus à l’aide de la similarité cosinus afin d’identifier les termes les plus proches sémantiquement.
5. Pondération des termes proposés en combinant leur similarité avec leur importance dans le corpus mesurée par TF-IDF

Exemples de syntaxe

Exemples de requête	Mots-clés extraits
abstract:("cat" "dog" "bird")	cat, dog, bird
abstract:("ozone hole" "pollution")	ozone_hole, pollution
abstract:"ozone hole"	ozone_hole
abstract:dog	dog

Attention : le web service n’analyse pas les requêtes avec des troncatures telles que l’astérisque (*) et le point d’interrogation (?)

fastText : https://fasttext.cc/

IstexSearch : https://search.istex.fr/fr-FR

 

Utilisation dans TDM Factory

Ce web service se lance sur un corpus d’articles scientifiques en sélectionnant le format “Requête et corpus Istex .tar.gz“

Termes_requete_initiale	Mots_similaires	Score
energy transition	clean energy	0.96
energy transition	nuclear energy	0.92
energy transition	coal energy	0.87