tokeniser
- nature
- ver
- diction
- [tɔkɛnize]
Sens et définitions
Verbe 1
1 emploi spécialisé
- Intelligence artificielle technique Anglicisme désignant l’action de découper un texte en unités destinées au traitement par un modèle ; « segmenter en jetons » lui est préférable.