Uitgebreide Uitleg
Het context window is een cruciale beperking van taalmodellen: het bepaalt hoeveel informatie het model "kan onthouden" tijdens een conversatie of taak. Als je context window 8.000 tokens is, kan het model maximaal 8.000 tokens aan input en vorige outputs tegelijk "zien".
Dit heeft praktische implicaties: lange documenten kunnen niet in één keer geanalyseerd worden, lange conversaties "vergeten" eerdere berichten, en complexe prompts met veel voorbeelden nemen waardevolle context ruimte in. Modellen met grotere windows (zoals GPT-4 met 32k of 128k tokens) zijn veelzijdiger maar ook duurder.
Om met deze beperking om te gaan, gebruiken ontwikkelaars technieken zoals: documenten opsplitsen in chunks, samenvattingen maken van oudere conversatie, of alleen relevante delen ophalen (zoals bij RAG). Nieuwere modellen hebben steeds grotere windows, met sommige modellen die miljoenen tokens aankunnen.
Praktijkvoorbeeld
Een Nederlands softwarebedrijf wil hun 200-pagina handleiding laten analyseren door AI. Met een 8k context window moet ze het document in stukken knippen en elk stuk apart verwerken, of upgraden naar een model met groter window.
Veelgebruikte Zoektermen
Gerelateerde Termen
Token
Token
Een kleine eenheid van tekst (zoals een woord of deel van een woord) die door een taalmodel verwerkt wordt.
Large Language Model
Large Language Model (LLM)
Een groot AI-model getraind op enorme hoeveelheden tekst om menselijke taal te begrijpen en te genereren.
GPT
Generative Pre-trained Transformer
Een familie van grote taalmodellen ontwikkeld door OpenAI, bekend van ChatGPT.