Token · Unité de texte d’un modèle de langage
Un token est l’unité de texte qu’un modèle de langage traite : un mot, une partie de mot, un caractère ou un signe de ponctuation. Le nombre de tokens, et non de mots, détermine ce qui tient dans la fenêtre de contexte et le coût d’un appel.
Définition autonome · 47 mots
Comment le texte devient-il des tokens ?
Un tokenizer découpe le texte selon un encodage propre à chaque modèle. OpenAI donne pour l’anglais une règle approximative : un token vaut environ quatre caractères ou trois quarts de mot, soit 100 tokens pour 75 mots. Les espaces et la casse changent le découpage, et les autres langues se découpent différemment.
Pourquoi est-ce utile en GEO ?
La fenêtre de contexte et les budgets de récupération se comptent en tokens : un contenu long ou verbeux consomme plus de place pour la même information. Metehan Yeşilyurt a mesuré qu’un même texte arabe passe de 70 tokens avec l’encodage GPT-2 à 21 avec o200k, ce qui rappelle que le découpage varie selon le modèle et la langue.
Que retenir pour rédiger ?
Viser la densité d’information plutôt que la longueur, éviter les formules creuses et placer l’essentiel tôt dans la page. Pour compter précisément, utiliser le tokenizer ou tiktoken du fournisseur du modèle visé.
Questions fréquentes
Un token est-il égal à un mot ?
Non. Un mot courant peut être un token, un mot rare plusieurs, et la ponctuation compte aussi.
Le nombre de tokens varie-t-il selon le modèle ?
Oui. Le même texte peut produire des comptes différents selon le modèle, son encodage et la langue.