langDetect - Détection de la langue d’un texte

Niveau d'utilisation :  Débutant
Niveau de validation :  Validé
Objectif

Le web service détecte la langue d’un document texte.

Méthode

Le web service détecte la langue d’un document texte et renvoie le code langue et la probabilité correspondante. Le code langue renvoyé correspond aux étiquettes d’identification de langues IETF que l’on peut trouver ici. Dans le cas où le résultat est trop incertain, le service renverra unknown.

Ce service s’appuie sur l’algorithme CLD3 (https://github.com/google/cld3) qui fait appel à un réseau de neurones.

Le service fonctionne dans environ 100 langues différentes.

 

 

 

 

Métriques

Le modèle a une accuracy de 0,98, c’est à dire que l’algorithme utilisé sur des textes de plusieurs phrases donne la bonne réponse dans 98% des cas.

Précautions :

  • À noter que la détection de langue a besoin d’un texte suffisamment long pour fonctionner correctement. Avec un nombre de mots trop réduit le résultat sera très incertain. Dans le cas d’un article scientifique il faut au moins un résumé ou un paragraphe pour que le résultat soit fiable.
  • Le résultat peut être parasité si, par exemple le texte contient beaucoup d’équations mathématiques et peu de texte.
Traitement

Le résultat  donne le code langue détecté, “unknown” dans le cas où le résultat est incertain.

Primero, caminó por La Rambla, la calle más famosa de Barcelona, llena de gente, tiendas y restaurantes. ==> es
The latter is tested in the presence and absence of vectors in order to check that they do not inhibit the detection of recombinants. ==> en

Vous souhaitez connaître la langue de vos documents pour avoir une idée des langues utilisées dans votre domaine ?
Le web service destecLang répond à ce besoin.

En poursuivant votre navigation, sans modifier vos paramètres, vous acceptez l'utilisation et le dépôt de cookies destinés à mesurer la fréquentation du site grâce au logiciel Matomo.
OK
Modifier les paramètres