Ce web service traite non plus du texte mais de corpus de textes en anglais. En effet, le résultat obtenu pour chacun des documents dépend des autres.

L’algorithme extrait plusieurs groupes (clusters) d’un corpus afin d’y classer les différents textes en fonction de leur similarité. Un document est présent dans un seul groupe.

Dans un premier temps, un embedding est utilisé pour vectoriser les documents. Une fois représentés sous forme de vecteurs, il est possible de calculer leur ressemblance. Pour se faire, nous réduisons la dimension des vecteurs en utilisant l’algorithme UMAP puis nous comparons les proximités entre ces vecteurs en utilisant la distance cosinus et on les regroupe en cluster en utilisant HDBSCAN

– Le nombre de clusters est déterminé de manière automatique et des documents peuvent être considérés comme du bruit (dans ce cas précis, le label de leur cluster sera 0 (zéro) ; les documents appartenant au cluster 0 ne sont pas regroupés ensembles).
– L’entrée doit être un texte court (type titre ou un abstract). Fonctionne également sur un tableau de mots-clés pertinents extraits d’un texte (pouvant être obtenus avec teeft par exemple).

Ce service est expérimental : pour le moment, les caractéristiques des clusters ne sont pas retournées.

Un modèle est créé à chaque utilisation : une optimisation des paramètres est incluse dans le code pour s’adapter à chaque corpus.
Cependant, la cohérence et l’exhaustivité des thématiques doivent être vérifiées à chaque utilisation.

Précaution
Le web service fonctionne uniquement sur des textes anglais.

UMAP (Uniform Manifold Approximation and Projection for Dimension Reduction) : https://doi.org/10.48550/arXiv.1802.03426

HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) : https://doi.org/10.21105/joss.00205

Extraction de thématiques d’un corpus

Extraction de termes d’un texte via Teeft

Ce service web ne traite pas des fichiers mais des corpus : ceci est un exemple de contenu d’un fichier d’un corpus.

Zinc (Zn), iron (Fe), magnesium (Mg), and calcium (Ca) in chickpea seed are important constituents in vegetarian diets. The aim was to investigate associations of these nutrients in different chickpea (Cicer arietinum L.) cultivars with phytic acid (PA), another naturally occurring constituent of grain that may influence the bioavailability of mineral micronutrients. Chickpea was grown at Saskatoon and Swift Current, SK, in 2002 and 2003, representing dryland production from high-yielding locations in western Canada. Minerals were measured by atomic absorption spectroscopy; PA was measured using high-performance anion-exchange conductivity detection methodology. Seed from 10 genotypes contained from 29 to 52 mg/kg Zn, 77–112 mg/kg Fe, 1,448–2,457 mg/kg Mg, 1,211–2,457 mg/kg Ca, to 3.8–9.0 mg/g PA. Phytic acid, Fe, Mg, and Ca decreased in 2003 from 2002 concentrations. Kabulis had greater Zn, the same Fe, but lower Mg and Ca concentrations than desi genotypes. Large-seeded genotypes had greater or the same Zn, the same Fe and Mg, but lower Ca than small-seeded genotypes. Iron and Ca concentrations positively correlated with PA concentration. Nutrients were affected by environment and genotype, which means that chickpea can be exploited by breeding, in addition to sourcing favorable nutritional profiles by environment, seed size, and market class.

==>

cluster : 2
weight : 0.854