Record #1064948

DFG project G:(GEPRIS)585736575

SynthDefekt: Gen-KI-assistierte Pipeline zur Generierung von synthetischen Daten für die industrielle Sichtprüfung

Coordinator	Professor Dr.-Ing. Thorsten Schüppstuhl
Grant period	2026 -
Funding body	Deutsche Forschungsgemeinschaft
	DFG
Identifier	G:(GEPRIS)585736575

Note: Überwachte Lernverfahren sind in der industriellen Bildverarbeitung trotz schwieriger Randbedingungen (wechselnde/unkontrollierte Beleuchtung, bewegte Objekte, unbekannte Perspektiven) de-facto-Standard. Ihre Leistungsfähigkeit hängt jedoch entscheidend von qualitativ geeigneten, hinreichend variierten und korrekt annotierten Trainingsdaten ab. Für visuelle Inspektionsaufgaben sind Defektbilder häufig nicht in ausreichender Menge und Vielfalt verfügbar: seltene Fälle sind unterrepräsentiert. Bildverarbeitungssysteme müssen auch diese seltenen Fälle zuverlässig detektieren. Synthetische, computergenerierte Daten sind dafür eine vielversprechende Alternative: seltene Defektklassen lassen sich gezielt erzeugen, Annotationen entstehen „by design“ und anwendungsrelevante Variationen werden systematisch abgebildet. Weiterhin ist die Generierung skalierbar, IP-gerecht und ermöglicht kontrollierte Klassenbalance bei hoher Varianz. Ein verbreiteter Ansatz ist Bildsynthese mittels Computergrafik. Bei regelbasierter, 3D-szenenbasierter Synthese ist jedoch umfangreiche manuelle Modellierungsarbeit nötig (Szenengeometrie/-komposition, Material- und Texturmodelle, Defektmodelle) und damit Expertise aus Computergrafik, Computer Vision und Domänenwissen. In Vorarbeiten konnten wir zeigen, dass domänenspezifisch generierte Datensätze Spezialistenmodelle robust für reale Sichtprüfungen befähigen. SynthDefekt adressiert den hohen manuellen Aufwand durch eine teilautomatisierte, gekoppelte Pipeline: prozedurale Szenenkomposition, Objektmodifikation, Defektgenerierung und Materialmodellierung werden mit Postprocessing (Bildnachbearbeitung, Augmentierung, Domänenanpassung) verknüpft und die Eignung des generierten Datensatzes quantifiziert. Die durchgängige Prozesskette erlaubt anschließend eine Optimierung. Im iterativen Vorgehen sind neben der Renderingzeit insbesondere Auswertung, Zeit und Rechenressourcen kritisch. Der Goldstandard ist, ML-Modelle mit den generierten Bilddaten zu trainieren und anhand realer Daten zu validieren, um die Eignung direkt zu quantifizieren. Um den Auswerteschritt zu beschleunigen und mehr Optimierungszyklen zu ermöglichen, untersuchen wir, inwiefern die Eignung indirekt hinreichend genau bewertet werden kann, z.B. durch Fusion oder sequenziellen Einsatz von Ähnlichkeitsmetriken (FID, KID), Domain-Adaptation-Metriken (Contrastive Domain Loss), semantischer Konsistenz (CLIP-Embedding-Distanzen) und Proxy-Tasks. Die Entwicklung dieses Evaluierungsmoduls ist das zweite Projektziel. Zudem wird für manuelle Teilschritte der Pipeline Gen-AI-Assistenz untersucht. Je nach technologischem Reifegrad sollen u.a. Diffusionsmodelle zur Generierung von Materialmodellen oder LLMs zur Skriptsynthese für die Szenenkomposition eingesetzt werden.

Recent Publications

There are no publications

Record created 2026-11-09, last modified 2026-11-09

Similar records

Rate this document:

(Not yet reviewed)

Add to personal basket
Export as Author List with IDs BibTeX (UTF-8), EndNote XML, EndNote Text, RIS, MARC, Print MARC, MARCXML, DC,
Request correction
Submit fulltext

guest :: login JuSER
		Search		Submit		Personalize Your alerts Your baskets Your searches		Help