Le web service détecte la langue d’un document texte.

Le web service détecte la langue d’un document texte et renvoie le code langue et la probabilité correspondante. Le code langue renvoyé correspond aux étiquettes d’identification de langues IETF que l’on peut trouver ici. Dans le cas où le résultat est trop incertain, le service renverra unknown.

Ce service s’appuie sur l’algorithme CLD3 (https://github.com/google/cld3) qui fait appel à un réseau de neurones.

Le service fonctionne dans environ 100 langues différentes.

Le modèle a une accuracy de 0,98, c’est à dire que l’algorithme utilisé sur des textes de plusieurs phrases donne la bonne réponse dans 98% des cas.

Précautions :

• À noter que la détection de langue a besoin d’un texte suffisamment long pour fonctionner correctement. Avec un nombre de mots trop réduit le résultat sera très incertain. Dans le cas d’un article scientifique il faut au moins un résumé ou un paragraphe pour que le résultat soit fiable.
• Le résultat peut être parasité si, par exemple le texte contient beaucoup d’équations mathématiques et peu de texte.

• Algorithme CLD3 : https://github.com/google/cld3
• Liste des langues traitées : https://github.com/google/cld3/blob/master/README.md#supported-languages

Le résultat  donne le code langue détecté, “unknown” dans le cas où le résultat est incertain.