Uitgebreide Uitleg
Fine-tuning is een techniek waarbij je een voorgetraind model neemt en het verder traint op een specifieke dataset of taak. Dit is veel efficiënter dan een model vanaf nul trainen omdat het basismodel al algemene kennis heeft.
Bij taalmodellen betekent dit bijvoorbeeld dat je GPT-3 verder traint op juridische documenten voor een juridische AI-assistent, of op medische literatuur voor een medische chatbot. Het model behoudt zijn algemene taalkennis maar wordt expert in het specifieke domein.
Fine-tuning vereist minder data en rekenkracht dan volledig opnieuw trainen, maar je moet wel oppassen voor "catastrophic forgetting" waarbij het model zijn oorspronkelijke kennis verliest. Technieken zoals LoRA (Low-Rank Adaptation) maken fine-tuning nog efficiënter.
Praktijkvoorbeeld
Een Nederlandse gemeente fine-tuned een taalmodel op hun eigen beleidsdocumenten en veelgestelde vragen. Dit resulteert in een chatbot die specifieke vragen over lokale regelgeving nauwkeurig kan beantwoorden.
Veelgebruikte Zoektermen
Gerelateerde Termen
Transfer Learning
Transfer Learning
Het hergebruiken van een voorgetraind AI-model voor een nieuwe maar gerelateerde taak, wat tijd en data bespaart.
Trainingsdata
Training Data
De dataset waarmee een AI-model wordt getraind om patronen te leren en voorspellingen te doen.
Large Language Model
Large Language Model (LLM)
Een groot AI-model getraind op enorme hoeveelheden tekst om menselijke taal te begrijpen en te genereren.