HowTo: ‘Generatieve AI voor marketing? Wat is een Foundation Model?’

Generatieve AI is een type kunstmatige intelligentie (AI) die in staat is om nieuwe dingen te creëren, zoals gesprekken, verhalen, beelden, video’s en muziek. In plaats van alleen bestaande informatie te gebruiken, kan generatieve AI iets geheel nieuws bedenken. Net als andere soorten AI werkt generatieve AI met behulp van machine learning (ML)-modellen. Het grote verschil is dat generatieve AI gebruik maakt van heel grote modellen, die we foundation models (FM’s) noemen. Deze foundation models worden vooraf getraind op enorme hoeveelheden gegevens, vaak met een speciale leerstrategie die zelfgestuurd leren wordt genoemd.

Wat zijn Foundation Models (FM’s) en hoe werken ze?

Foundation models (FM’s) zijn anders dan de traditionele ML-modellen die we misschien kennen. De belangrijkste reden is dat FM’s veel groter zijn en voor veel verschillende taken gebruikt kunnen worden. Ze zijn ontworpen om een breed scala aan taken uit te voeren, zoals het genereren van tekst, het samenvatten van tekst, het extraheren van informatie, het genereren van beelden, het functioneren als chatbots, en het beantwoorden van vragen. In feite kunnen foundation models worden aangepast voor een verscheidenheid aan algemene taken.

Wat maakt FM’s nog specialer is dat ze diepe neurale netwerken gebruiken. Dit zijn computerstructuren die proberen na te doen hoe ons brein werkt, wat ze in staat stelt om complexe taken uit te voeren die normaal gesproken moeilijk voor computers zijn. Foundation models kunnen ook dienen als basis om meer specifieke modellen te ontwikkelen voor bepaalde toepassingen. Bekende voorbeelden van foundation models zijn Amazon Titan, Meta Llama 2, Anthropic Claude en AI21 Labs Jurassic-2 Ultra.

Hoe werkt zelfgestuurd leren?

Traditionele machine learning-modellen werken meestal met verschillende soorten leren, zoals gesuperviseerd leren (waarbij je een groot aantal gelabelde voorbeelden hebt) of ongesuperviseerd leren (waarbij het model zelf patronen ontdekt). Maar foundation models gebruiken meestal zelfgestuurd leren om hun training te starten. Dit betekent dat ze geen gelabelde gegevens nodig hebben om te leren. In plaats daarvan maken ze gebruik van de structuur die al in de data aanwezig is. Bijvoorbeeld, ze kunnen zelf automatisch labels genereren door de patronen in de gegevens te begrijpen en te gebruiken. Dit maakt het trainen van foundation models efficiënter en gemakkelijker.

Training, Fijn-Tuning en Prompt-Tuning

Foundation models gaan door verschillende stadia van training om de best mogelijke prestaties te behalen. Dit begint met een enorme hoeveelheid gegevens waarmee ze getraind worden, gevolgd door een proces van fijn-tuning. Fijn-tuning is wanneer het model verder wordt aangepast om beter te presteren op specifieke taken of in bepaalde contexten. Prompt-tuning is een ander proces waarbij het model wordt geoptimaliseerd om op een specifieke manier te reageren op bepaalde invoer.

Al deze stappen helpen om de foundation models steeds krachtiger en flexibeler te maken. Elk van deze fasen draagt bij aan het vermogen van het model om niet alleen algemene taken uit te voeren, maar ook om zeer gespecialiseerde en geavanceerde toepassingen mogelijk te maken.