noiseDetect - Détection de bruit d’un corpus
Ce web service traite non plus du texte mais de corpus de textes en anglais. En effet, le résultat obtenu pour chacun des documents dépend des autres.
L’algorithme repère la liste des identifiants des documents considérés comme du bruit dans un corpus. Il s’agit de documents considérés comme non pertinents.
Dans un premier temps, un embedding est utilisé pour vectoriser les documents. Une fois représentés sous forme de vecteurs, il est possible de calculer leur ressemblance. Pour ce faire, nous réduisons la dimension des vecteurs en utilisant l’algorithme UMAP puis nous comparons les proximités entre ces vecteurs en utilisant la distance cosinus et nous les regroupons en cluster en utilisant HDBSCAN
– L’entrée doit être un texte court (type titre ou un abstract). Fonctionne également sur un tableau de mots-clés pertinents extraits d’un texte (pouvant être obtenus avec teeft par exemple).
– La sortie est la liste de l’ensemble des identifiants des documents considérés comme du bruit.
Un modèle est créé à chaque utilisation : une optimisation des paramètres est incluse dans le code pour s’adapter à chaque corpus.
Précaution
Le web service fonctionne uniquement sur des textes anglais.
Pour obtenir la liste des identifiants considérés comme bruit, l’URL à utiliser dans Lodex est la suivante :
https://text-clustering.services.istex.fr/v1/noise-lodex
La variante suivante permet un résultat bien plus simplifié (la liste des identifiants), incompatible avec Lodex. Elle est à utiliser en ligne de commande.
https://text-clustering.services.istex.fr/v1/noise
UMAP (Uniform Manifold Approximation and Projection for Dimension Reduction) : https://doi.org/10.48550/arXiv.1802.03426
HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) : https://doi.org/10.21105/joss.00205
Vous avez un corpus et vous souhaitez en connaître le contenu ? Vous souhaitez l’affiner en écartant des documents non pertinents ?
En lançant noiseDetect sur vos données depuis Lodex, logiciel libre de visualisation, vous pourrez repérer des documents identifiés comme non pertinents par rapport au reste du corpus.