Uitgebreide Uitleg
Tokens zijn de basis-eenheden waarmee language models werken. Voor mensen zijn woorden natuurlijke eenheden, maar AI-modellen breken tekst op in tokens - stukjes die kunnen zijn: hele woorden ("het"), delen van woorden ("auto-matisch"), of leestekens. In het Nederlands is 1 token gemiddeld 0.75 woord.
Waarom belangrijk? Tokens bepalen: (1) Kosten - API's rekenen per token, (2) Limits - modellen hebben max tokens (context window), (3) Snelheid - meer tokens = langere verwerking. Een 1000-woord tekst is ongeveer 1333 tokens, een 2-uur gesprek kan 50K+ tokens zijn.
Praktische implicaties: als GPT-4 een 128K token limit heeft, is dat ~96K woorden of ~192 pagina's. Als API's $0.03 per 1K tokens kosten, kost een 1000-woord response $0.04. Voor heavy users kunnen token costs snel oplopen. Tools zoals tiktoken helpen je tokens tellen voordat je ze naar de API stuurt.
Praktijkvoorbeeld
Een Nederlandse startup bouwt een chatbot en ziet hun API bill exploderen tot €3000/maand. Ze analyseren en zien dat ze vaak hele documenten in de context stoppen. Door slimmer te werk te gaan (alleen relevante passages sturen via semantic search) reduceren ze tokens met 80% en kosten naar €600/maand.
Veelgebruikte Zoektermen
Gerelateerde Termen
Context Window
Context Window
De maximale hoeveelheid tekst (in tokens) die een taalmodel in één keer kan verwerken.
API
Application Programming Interface
Een interface die software-applicaties met elkaar laat communiceren en functionaliteit laat delen.
Large Language Model
Large Language Model (LLM)
Een groot AI-model getraind op enorme hoeveelheden tekst om menselijke taal te begrijpen en te genereren.