LoterreAnnotate - Annotation d’un texte avec les vocabulaires Loterre
Il extrait dans un texte, en français ou en anglais, les termes qui correspondent aux concepts d’un vocabulaire Loterre. Pour chaque terme reconnu, il donne sa forme préférentielle, son URI dans le vocabulaire et un score de confiance.
Il s’agit d’un repérage et d’un balisage des termes présents dans le texte, pas d’une indexation au sens strict : le service ne hiérarchise pas les concepts trouvés et ne mesure ni leur importance ni leur capacité à décrire le sujet du document.
Le service compare le texte au vocabulaire Loterre choisi. Il applique plusieurs règles de reconnaissance : correspondance exacte, correspondance structurelle, ou correspondance par lemme. Chaque terme trouvé est relié à son concept (forme préférentielle + URI), et un score de confiance entre 0 et 1 lui est attribué. Pour les termes composés d’un seul mot, un score supérieur à 0,80 est recommandé.
En plus de la liste détaillée des termes reconnus, le service fournit le texte initial dans lequel les termes annotés sont balisés directement, au format Markdown (terme〔[forme préférentielle](uri)). Ce texte annoté peut ainsi être affiché tel quel pour visualiser les concepts repérés en contexte.
Dans le détail
Le texte est d’abord traité par un pipeline linguistique (spaCy, modèles en_core_web_sm / fr_core_news_sm) qui le découpe en phrases et en tokens, puis les étiquette grammaticalement et les lemmatise.
Le vocabulaire Loterre sélectionné est représenté par un dictionnaire précalculé : pour chaque concept, il regroupe ses formes de surface (les libellés tels qu’écrits) et ses formes lemmatisées. Ce dictionnaire est construit et versionné en amont, indépendamment du service, puis mis à jour lorsque le vocabulaire évolue.
Le texte tokenisé est ensuite comparé à ce dictionnaire selon plusieurs règles, appliquées de la plus stricte à la plus souple :
surface_upper_exact: correspondance exacte avec une forme de surface du concept ;surface_structural: correspondance sur la structure de la forme de surface (ordre des mots, variantes) ;lemma_structural/lemma_pattern_seq: correspondance sur les lemmes, utile pour les variations grammaticales (singulier/pluriel, accords) ;pattern: correspondance par patron, pour des formulations plus libres.
Chaque règle est associée à un score de confiance différent, reflétant sa fiabilité (une correspondance exacte de surface est jugée plus fiable qu’une correspondance par patron). Les termes reconnus sont enfin recomposés dans le texte d’origine pour produire la version annotée.
Ressources Loterre disponibles
Le web service fonctionne avec un vocabulaire à la fois. Il faut préciser son code dans l’URL (paramètre loterreID). Chaque vocabulaire peut être exploré en détail sur loterre.istex.fr.
| 27X | Art et Archéologie |
| MDL | Astronomie |
| BLH | Biodiversité |
| BRMH | Biotechnologies de la reproduction |
| ERC | Classification de l’ERC |
| D63 | Communes (France) |
| RVQ | Composés inorganiques |
| C0X | Covid-19 |
| CUEX | Cuisson-extrusion |
| DOM | Domaines scientifiques |
| EMTD /a> | Écologie microbienne du tube digestif |
| 3WV | Écotoxicologie |
| RDR | lectronique – Optoélectronique |
| KW5 | Ethnologie |
| GGMGG | Génétique moléculaire et génie génétique |
| BJW | Génie électrique – Électro-énergétique |
| KG7 | Géographie de l’Amérique du Nord |
| XD4 | Histoire des sciences et techniques |
| 4V5 | Histoire et sciences des religions |
| IDIA | Ionisation dans l’industrie agro-alimentaire |
| X64 | Linguistique |
| P21 | Littérature |
| PSR | Mathématiques |
| 2QZ | Mécanique des fluides |
| JVR | MeSH (Medical Subject Headings) |
| Theremy | Méthodologie de la recherche en santé (THEREMY) |
| BVM | NETSCITY – Toponymes (France) |
| BL8 | Nutrition artificielle |
| th63 | Nomenclature zoologique |
| FMC | Optique |
| QX8 | Paléoclimatologie |
| PAN | Panification au levain naturel |
| VH8 | Pathologies humaines |
| 9SD | Pays et subdivisions |
| PLP | Pédologie |
| 73G | Philosophie |
| NHT | Physique de l’état condensé |
| VPAC | Politique Agricole Commune |
| 905 | Préhistoire et Protohistoire |
| B9M | Primatologie |
| P66 | Psychologie cognitive de la mémoire humaine (CogMemo) |
| TSP | Santé publique |
| 2CX | SantéPsy |
| TSO | Science ouverte |
| ADM | Sciences administratives |
| 26L | Sciences de la terre |
| 216 | Sciences de l’éducation |
| QJP | Sciences de l’ingénieur |
| 3JP | Sciences sociales |
| ASYSEL | Systèmes agricoles et d’élevage |
| 8HQ | Tableau périodique des éléments |
| G9G | Taxonomie des poissons |
| TSM | Techniques de séparation par membranes |
| TECSEM | Technologie des semences |
| SN8 | Théorie et traitement du signal |
| LTK | ThesoTM |
| 8LP | Traitement automatique des langues |
| 1WB | Transferts de chaleur |
| W7B | Transfusion sanguine |
| Q1W | Vocabulaire agroalimentaire |
Utilisation dans Lodex
Sélectionnez le web service dans le catalogue :
Enrichissement : le web service traite chaque document l’un après l’autre. Exemple pour l’extraction de termes à partir du résumé. On parlera de web service synchrone.
L’URL du service est de la forme :
https://loterre-annotate.services.istex.fr/v1/{langue}/loterre-annotate/annotate?loterreID={code_vocabulaire}
- {langue} :
frouen, selon la langue du texte - {code_vocabulaire} : le code du vocabulaire Loterre à utiliser (voir la liste dans l’onglet Description, partie Méthode)
Saisir cette URL et sélectionner la colonne dédiée au texte à annoter.
Sauvegarder et lancer le traitement.
Le résultat de l’annotation réalisée sur un texte d’anglais scientifique en anglais diffère selon la plate-forme que vous utilisez.
Depuis Lodex, outil de visualisation des données, vous obtiendrez ces informations après avoir lancé le web service avec le vocabulaire Pays et subdivision (9SD)
| Mangroves are pantropical intertidal forests that maintain coastal biodiversity, provide a wide range of ecological services and represent the most efficient blue-carbon ecosystems for mitigating global warming. A recent global initiative aims to reconstruct the historical biogeography of mangroves using comprehensive paleobotanical datasets from biogeographically coherent regions. This approach has been applied to the Caribbean, Europe, the Middle East and western Africa. Here, the same methodology is used to investigate the paleobiogeography and evolution of Southeast African (SEAF) mangroves, including those of the Western Indian Ocean (WIO) islands… | ==> | « start »: 423, « end »: 432, « found »: « Caribbean » « pref« : « Caribbean« , « uri« : « http://data.loterre.fr/ark:/67375/9SD-J6XC2W10-5 », « label »: »Caribbean« , « rule« : « pattern » « score« : 0.7″start »: 434, « end »: 440, « found »: « Europe » « pref« : « Europe« , « uri« :« http://data.loterre.fr/ark:/67375/9SD-G3RL9QZF-H », « label »: »Europe« , « rule« : « pattern » « score« : 0.7 |
Depuis le site Istex Loterre, avec le vocabulaire CogMemo — Psychologie cognitive de la mémoire humaine (code P66), vous obtiendrez ce texte surligné
Les termes surlignés sont les concepts reconnus dans le texte grâce au vocabulaire CogMemo. Chaque couleur correspond à une catégorie de concepts du vocabulaire.
