Een foundation model is zo breed getraind dat het aan veel taken kan worden aangepast. Aanpassing kan gebeuren via prompting, toolgebruik, retrieval, fine-tuning of gespecialiseerde wrappers.
Een large language model verwerkt en genereert reeksen tokens. Praktisch begrip omvat tokenisatie, embeddings, attention, contextvensters, inferentie, sampling, gestructureerde output, redeneerinspanning, caching, tool calling en beperkingen van het model.
Multimodale modellen verwerken of genereren meer dan één modaliteit, zoals tekst, afbeeldingen, audio of video. De engineer moet beslissen hoe modaliteiten worden gerepresenteerd, gecombineerd, gevalideerd en geëvalueerd.
Modelkeuze is een systeembeslissing op basis van capaciteit, betrouwbaarheid, latency, kosten, privacy, contextgrootte, modaliteit en deployment-beperkingen. Het grootste model is niet automatisch de beste keuze voor productie.
