Uitgebreide Uitleg
Transfer Learning is de praktijk van een model dat getraind is op taak A gebruiken voor taak B. In plaats van from scratch trainen (wat miljoenen data points en maanden compute kost), start je met een voorgetraind model en fine-tune je het op je specifieke use case. Dit werkt omdat modellen algemene features leren die breed toepasbaar zijn.
Voorbeeld: een image model getraind op ImageNet (1M+ images) heeft geleerd om edges, textures, shapes te herkennen. Deze features zijn bruikbaar voor elk vision task. Je neemt dit pretrained model en traint alleen de laatste layers op jouw specifieke data (bijv. medische scans). Je hebt nu slechts 1000 images nodig ipv 1M+.
Bij language models is dit standaard: GPT, BERT, etc. zijn pretrained op internet-scale data en dan fine-tuned voor specifieke taken. Dit democratiseert AI - kleine bedrijven kunnen state-of-the-art resultaten behalen zonder massive compute budgets. Transfer learning is waarom AI zo snel toegankelijk werd.
Praktijkvoorbeeld
Een Nederlandse startup bouwt een app om plantenziektes te detecteren. In plaats van een model from scratch trainen (onbetaalbaar), nemen ze een pretrained vision model (ResNet-50) en fine-tunen het op 5000 foto's van zieke planten. Na 2 dagen training op een enkele GPU hebben ze 92% accuracy - beter dan ze ooit from scratch konden bereiken.