detect-lang - Détection de la langue d’un texte

Niveau d'utilisation :  Débutant
Niveau de validation :  Validé
Objectif

Le web service détecte la langue d’un document texte.

Méthode

Le web service détecte la langue d’un document texte et renvoie le code langue et la probabilité correspondante. Le code langue renvoyé correspond aux étiquettes d’identification de langues IETF que l’on peut trouver ici.

Dans le cas où le résultat est trop incertain, le service renverra unknown.

Ce service s’appuie sur l’algorithme CLD3 (https://github.com/google/cld3) qui fait appel à un réseau de neurones.

À noter que la détection de langue a besoin d’un texte suffisamment long pour fonctionner correctement. Avec un nombre de mots trop réduit le résultat sera très incertain. Dans le cas d’un article scientifique il faut au moins un résumé ou un paragraphe pour que le résultat soit fiable.

Le résultat peut être parasité si, par exemple le texte contient beaucoup d’équations mathématiques et peu de texte.

Le service fonctionne dans environ 100 langues différentes.

 

 

 

 

Métriques

L’algorithme utilisé sur des textes de plusieurs phrases donne la bonne réponse dans 98% des cas.

Références

Ce service s’appuie sur l’algorithme CLD3 (https://github.com/google/cld3)

La liste des langues traitées : https://github.com/google/cld3/blob/master/README.md#supported-languages

 

Exemple textuel du traitement
Le format d'entrée :
[
  {
    "id": 1,
    "value": "Primero, caminó por La Rambla, la calle más famosa de Barcelona, llena de gente, tiendas y restaurantes."
  },
  {
    "id": 2,
    "value": "The latter is tested in the presence and absence of vectors in order to check that they do not inhibit the detection of recombinants."
  }
]
Le résultat :

Le résultat  donne le code langue détecté, “unknown” dans le cas où le résultat est incertain.

[
  {
    "id": 1,
    "value": "es"
  },
  {
    "id": 2,
    "value": "en"
  }
]
En poursuivant votre navigation, sans modifier vos paramètres, vous acceptez l'utilisation et le dépôt de cookies destinés à mesurer la fréquentation du site grâce au logiciel Matomo.
OK
Modifier les paramètres