Glossário Colaborativo

Token

A menor unidade de texto que um modelo de linguagem processa — pode ser uma palavra, parte de uma palavra ou um caractere de pontuação.

Modelos de IA não "leem" texto como nós; eles quebram o texto em tokens e processam essas unidades. Isso importa na prática porque LLMs têm um limite de tokens por conversa (a "janela de contexto") e muitos serviços cobram por token processado.

Em português, uma palavra costuma equivaler a 1–2 tokens, em média.

Veja também