Definitie
Datamodellering en data engineering Datamodellering definieert de entiteiten, relaties, gebeurtenissen, identificatoren, semantiek en levenscyclusfasen waarop software steunt. Data engineering bouwt de pipelines, opslag, validatie, herkomst (lineage) en toegangspatronen die data bruikbaar maken. AI‑systemen hebben beide nodig: modellen kunnen alleen goed redeneren over data die coherent, actueel, beheerd en verbonden is met de zakelijke betekenis van de taak.
Datamodellering brengt entiteiten, relaties, gebeurtenissen, beperkingen, herkomst (lineage) en levenscyclus in kaart. AI compenseert niet voor dubbelzinnige semantiek of brondata van lage kwaliteit.
Voor AI‑applicaties omvat data engineering ook herkomst, versheid, retentie en toegangsbeleid voor opgehaalde context, traces, feedback en eval-datasets.
Engineeringmodus
Data engineering definieert de grondstof van AI‑gedrag. De architectuur moet herkomst (lineage), toestemming, machtigingen, versheid, schema’s en retrieval-indexen afhandelen. Het ontwerp moet rekening houden met ontbrekende of onzekere data in de gebruikerservaring. Het bouwwerk omvat validatie, migratie en backfill‑paden. Operations monitoren datadrift en kwaliteitsincidenten. Het risico is dat het model de schuld krijgt van falen dat wordt veroorzaakt door kapotte of slecht beheerde data.
Evaluatiecheck
Vraag welk observeerbaar bewijs zou aantonen dat dit concept goed is toegepast in een echt systeem, een repository of een leeropdracht.
Praktijkvoorbeeld
Een productzoekassistent is slechts zo goed als zijn datapipeline. Catalogusrecords hebben consistente namen, prijzen, beschikbaarheid, varianten, machtigingen en embeddings nodig. Als uitgefaseerde items of afgeschermde producten in de index lekken, kan het taalmodel vol vertrouwen iets aanbevelen dat gebruikers niet kunnen kopen.
Gerelateerde concepten
Verder lezen: Martin Kleppmann, Designing Data-Intensive Applications , en Joe Reis en Matt Housley, Fundamentals of Data Engineering .
