Étape du traitement automatique du langage qui consiste à découper un texte en unités élémentaires appelées tokens, généralement des mots, des sous-mots ou des signes de ponctuation
Étape du traitement automatique du langage qui consiste à découper un texte en unités élémentaires appelées tokens, généralement des mots, des sous-mots ou des signes de ponctuation