Token

Teljes szószedet

A természetes nyelvfeldolgozás
során a token egy szövegegységre, például szóra, írásjelre vagy más értelmes
karaktersorozatra utal.