Définition
Les tokens sont les morceaux sur lesquels un LLM opère. Un token peut être un mot, une partie d'un mot, un nombre ou de la ponctuation. La tarification, les fenêtres de contexte et les limites de débit sont tous mesurés en tokens. Règle de base : 1 000 tokens font environ 750 mots d'anglais. Les langues avec des écritures non latines (chinois, japonais, arabe) peuvent utiliser significativement plus de tokens par mot.
Exemple
La phrase "Vedwix construit des produits IA" représente environ 8 tokens.
Comment Vedwix utilise ceci
Nous modélisons l'utilisation de tokens à l'avance pour toute fonctionnalité IA afin que les surprises de coût n'arrivent pas à grande échelle.
Vous travaillez sur un projet de Token?
Token.
Décrivez votre projet en trois phrases ou moins.
Démarrer un projet