Uitgebreide Uitleg
Inference is wanneer je een AI-model daadwerkelijk gebruikt na training. Bij machine learning onderscheiden we twee fasen: training (het model leren) en inference (het model gebruiken). Inference is het moment dat het model "live" gaat en echte output produceert.
Bijvoorbeeld: wanneer je ChatGPT een vraag stelt, draait er inference - het model verwerkt je input en genereert een response. Bij beeldherkenning: je upload een foto en het model doet inference om te bepalen wat erin staat. Elke keer dat je een AI-applicatie gebruikt, gebeurt er inference.
Inference snelheid en kosten zijn cruciaal voor productie AI. Training kan dagen duren op dure hardware, maar inference moet snel (milliseconden) en goedkoop zijn omdat het duizenden keren per seconde gebeurt. Technieken zoals model compression, quantization en edge deployment optimaliseren inference performance.
Praktijkvoorbeeld
Een Nederlandse foto-app gebruikt een AI-model om automatisch objecten te taggen. Het model is één keer getraind (duurde 2 weken), maar doet nu 100.000 inference runs per dag wanneer gebruikers foto's uploaden. Elke inference kost microseconden en identificeert objecten in real-time.
Veelgebruikte Zoektermen
Gerelateerde Termen
Trainingsdata
Training Data
De dataset waarmee een AI-model wordt getraind om patronen te leren en voorspellingen te doen.
API
Application Programming Interface
Een interface die software-applicaties met elkaar laat communiceren en functionaliteit laat delen.
Latency
Latency
De tijd die een AI-systeem nodig heeft om te reageren op een input.