Chinesische Wissenschaftler haben eine hochpräzise 3D-Gesichtsdatenbank entwickelt und einen Durchbruch im Bereich personalisierter Modellierung erzielt, der eine natürlichere Mensch-Computer-Interaktion maßgeblich unterstützen wird.

Um virtuelle Menschen zu befähigen, lebhafte Emotionen auszudrücken, menschliche Identitäten zu erkennen und verkörperte Intelligenz zu demonstrieren, ist die Erkennung von 3D-Gesichtsmerkmalen die Schlüsseltechnologie.

Der Mangel an umfangreichen und präzise kommentierten 3D-Gesichtsdatensätzen führt jedoch dazu, dass die meisten aktuellen Algorithmen zur 3D-Gesichtsmerkmalerkennung auf 2D-Textunterstützung oder nicht fotorealistische digitale 3D-Gesichter angewiesen sind. Diese 3D-Gesichtsmerkmalerkennung war lange Zeit durch unzureichende Daten und eine geringe Fähigkeit zur Generalisierung beeinträchtigt.

Ein Forschungsteam der Shenzhen Institutes of Advanced Technology der Chinesischen Akademie der Wissenschaften und der Fujian University of Technology hat ein neues krümmungsfusioniertes Graph-Attention-Netzwerk (CF-GAT) entwickelt, das Gesichtsmerkmale direkt aus Rohpunktwolken (nicht aufbereiteten 3D-Punktdaten) vorhersagen kann. Dies trägt wesentlich zur Verbesserung der Modellierung bei und führt von einem standardisierten Ansatz hin zu einer personalisierten Modellierung.

Diese Studie wurde letzte Woche in der Fachzeitschrift „IEEE Transactions on Circuits and Systems for Video Technology“ veröffentlicht.

Das Forschungsteam entwickelte ein maßgeschneidertes 3D/4D-Gesichtserfassungssystem und führte eine standardisierte Datenerfassung durch. So entstand die nach eigenen Angaben branchenweit größte hochpräzise und präzise kommentierte 3D-Gesichtsdatenbank mit rund 200.000 hochauflösenden 3D-Gesichtsscans.

Auf dieser Grundlage umfasst das Datenbanksystem einen 3D-Gesichtsdatensatz mit verschiedenen Gesichtsausdrücken, einen standardisierten 3D-Datensatz von Gesichtsmerkmalen, einen hochpräzisen 3D-Datensatz des menschlichen Körpers sowie einen dynamischen 4D-Datensatz von Gesichtsausdrücken.

„Diese Datenbanken bilden eine zentrale Grundlage in der Technologiekette humanoider Roboter und liefern Basisdaten für hochpräzise Wahrnehmung, die Modellierung von Ausdrücken und die Generierung von Verhalten“, so der korrespondierende Autor Song Zhan.

„In Zukunft werden diese Datensätze die datengetriebene Entwicklung großer humanoider Robotersysteme weiter vorantreiben und natürlichere und intelligentere Mensch-Roboter-Interaktionen ermöglichen“, fügte er hinzu.