Een eval is een gestructureerde test van het gedrag van een AI-systeem met representatieve invoer, verwachte eigenschappen en scoringsmethoden. Scores kunnen deterministisch, modelgebaseerd of menselijk zijn. Evals moeten de applicatie meten, niet alleen het onderliggende model.
Evaluatiegedreven ontwikkeling formuleert gewenst gedrag als evalueerbare criteria, voert een nulmeting uit, analyseert fouten, verandert één ding en controleert op regressies. Evals vervullen een rol vergelijkbaar met testen, maar houden rekening met probabilistische output.
Foutanalyse betekent mislukkingen inspecteren, ze clusteren in betekenisvolle categorieën en beslissen welke verandering het systeem het waarschijnlijkst verbetert. Geaggregeerde scores zonder kwalitatieve foutanalyse geven zelden aan wat je vervolgens moet bouwen.
