noiseDetect - Détection de bruit d’un corpus

Niveau d'utilisation :  Avancé
Niveau de validation :  Expérimental
Objectif

Ce web service traite non plus du texte mais de corpus de textes en anglais. En effet, le résultat obtenu pour chacun des documents dépend des autres.

L’algorithme repère la liste des identifiants des documents considérés comme du bruit dans un corpus. Il s’agit de documents considérés comme non pertinents.

Méthode

Dans un premier temps, un embedding est utilisé pour vectoriser les documents. Une fois représentés sous forme de vecteurs, il est possible de calculer leur ressemblance. Pour ce faire, nous réduisons la dimension des vecteurs en utilisant l’algorithme UMAP puis nous comparons les proximités entre ces vecteurs en utilisant la distance cosinus et nous les regroupons en cluster en utilisant HDBSCAN

– L’entrée doit être un texte court (type titre ou un abstract). Fonctionne également sur un tableau de mots-clés pertinents extraits d’un texte (pouvant être obtenus avec teeft par exemple).
– La sortie est la liste de l’ensemble des identifiants des documents considérés comme du bruit.

Métriques

Un modèle est créé à chaque utilisation : une optimisation des paramètres est incluse dans le code pour s’adapter à chaque corpus.

Précaution
Le web service fonctionne uniquement sur des textes anglais.

Références

UMAP (Uniform Manifold Approximation and Projection for Dimension Reduction) : https://doi.org/10.48550/arXiv.1802.03426

HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) : https://doi.org/10.21105/joss.00205

En poursuivant votre navigation, sans modifier vos paramètres, vous acceptez l'utilisation et le dépôt de cookies destinés à mesurer la fréquentation du site grâce au logiciel Matomo.
OK
Modifier les paramètres