13.10.2020 08:04
Neural Rendering an der HSD – Künstliche Intelligenz trifft Virtual Reality
Gute Nachricht für Philipp Ladwig und Marcel Tiator, Mitarbeiter im FB Medien der HS Düsseldorf. Auf der renommierten IEEE Konferenz “Artificial Intelligence und Virtual Reality” wurden zwei Arbeiten als “full paper” akzeptiert. Beide Beiträge behandeln zentrale Konzepte der Promotionsprojekte der beiden Düsseldorfer und sind daher ein weiterer wichtiger Meilenstein auf dem Weg zum Doktortitel.
Plötzlich gesund
Fortschreitende Naturerkenntnis, ganz allgemein gesprochen, ‘Wissenschaft’, ist der stärkste Feind des medizinischen Wunders. Was unseren Vorfahren als Wunder erschien, was einfache Naturvölker heute noch in heftige Erregung versetzt, das berührt den zivilisierten Menschen längst nicht mehr.
Doch es gibt einen Gegensatz, der jedem Denkenden sofort auffällt: der unerhörte, durchaus nicht abgeschlossene Aufstieg der wissenschaftlichen Heilkunde und die ebenso unerhörte Zunahme der Laienbehandlung und der Kurpfuscherei. Man schätzt die Zahl der Menschen, die der Schulmedizin kein Vertrauen schenken, auf immerhin 50 Prozent.
Wie kann es sein, daß Laienbehandler und Kurpfuscher immer wieder spektakuläre Erfolge aufweisen, von denen die Sensationspresse berichtet?
Der Autor geht dieser Frage nach und kommt zu interessanten Erkenntnissen, aus denen er Vorschläge für eine bessere Krankenbehandlung durch seine ärztlichen Standesgenossen ableitet.
Marcel Tiator arbeitet in einer Kooperation mit der Uniklinik Düsseldorf an der interaktiven Begehung der Intensivstation in Virtual Reality, damit sich etwa Patienten vor einem stationären Aufenthalt mit der Umgebung vertraut machen können. Dazu wird die Umgebung mittels 3D-Scanverfahren (LIDAR, Photogrammetrie) digitalisiert und musste bisher aufwändig segmentiert werden. Das bedeutet, dass man aus der riesigen digitalen Punktwolke einzelne Objekte extrahiert, damit man mit einzelnen Elementen interagieren kann, zum Beispiel eine virtuelle Tür öffnen. Marcel Tiator hat ein intelligentes Verfahren basierend auf neuronalen Netzen entwickelt, das diesen Prozess automatisiert. Ein Schwerpunkt der Publikation ist das Anlernen des neuronalen Netzwerkes. Hierfür wurde eine neue Heuristik entwickelt, wodurch dem Netzwerk gute Entscheidungen demonstriert werden. Ähnlich wie ein Lehrer in einer Schule hilft die Heuristik dem Netzwerk beim Lernen. Dabei wurden zwei Lernformen miteinander verglichen: Zum einen das überwachte und zum anderen das bestärkende Lernen. Beim überwachten Lernen wird das Netzwerk für schlechte Entscheidungen bestraft und dadurch besser. Beim bestärkenden Lernen wird das Netzwerk für bestimmte Entscheidungen belohnt, so dass es durch Interaktion mit der Umgebung seine Leistung steigert. Ein erster Ansatz wurde in diesem Jahr bereits auf der wichtigsten europäischen Konferenz zu Künstlicher Intelligenz, der ECAI, publiziert. Der aktuelle Beitrag verbessert das Verfahren noch einmal deutlich, da die Heuristik optimiert wurde. Dabei wurde eng mit der Informatikerin Anna Maria Kerkmann von der Heinrich-Heine Universität zusammengearbeitet.
Im zweiten Projekt verbesserte Philipp Ladwig zusammen mit Alexander Pech seine Idee, durch neuronale Netze den Gesichtsausdruck eines Nutzers unter einem Head-Mounted Display in Echtzeit zu rekonstruieren. Der Artikel beschreibt eine neuartige und kostengünstige Lösung für die Gesichtsrekonstruktion mit authentischer Mimik unter einer Virtual-Reality-Brille. Dies dient dem Zweck, dass die Teilnehmenden einer virtuellen Konferenz in der Lage sind, die Mimik des Gegenübers wahrnehmen zu können, obwohl die Gesichter jeweils von einer VR-Brille verdeckt sind. Bisherige klassische Verfahren zur digitalen Gesichtsrekonstruktion und Animation setzen umfangreiche manuelle Arbeiten bei der Aufnahme und der Nachbearbeitung voraus, die mehrere Tagen dauern können. Der neuartige Ansatz der Forscher der HSD benötigt deutlich weniger manuelle Eingriffe. So “lernt” ein generatives neuronales Netz das Gesicht einer Person innerhalb von 20 Stunden. Das neuronale Netz ist daraufhin in der Lage, mit nur wenigen Steuerparametern das gelernte Gesicht in Echtzeit räumlich wiederherzustellen. Eine Vorversion dieser Lösung erhielt auf dem VR/AR-Workshop der Gesellschaft für Informatik in diesem Jahr in Trier bereits den “Best Paper Award”.
Betreuer Christian Geiger, Leiter des Teams MIREVI (Mixed Reality und Visualisierung, www.mirevi.de) am Fachbereich Medien, freut sich besonders über die Erfolge der beiden: „Beide Themen sind sehr aktuell und große „Player“ wie Microsoft, Google, NVIDIA und Facebook publizieren regelmäßig neue Resultate. Da ist es besonders schön, wenn wir als Teil eines kleinen Teams auch ein wenig mitspielen können.“
Die Arbeiten werden durch die BMBF-Projekte HIVE und iKPT40 unterstützt, an denen das MIREVI-Team der HSD beteiligt ist.
Referenzen:
M. Tiator, A. Kerkmann, C. Geiger, P. Grimm, “Using Semantic Segmentation to Assist the Creation of Interactive VR Applications”, in Proceedings of the 3rd International Conference on Artificial Intelligence & Virtual Reality – AIVR ’20, Utrecht, Netherlands: IEEE, 2020. (accepted for publication)
P. Ladwig, A. Pech, R. Dörner, C. Geiger, “Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence”, in Proceedings of the 3rd International Conference on Artificial Intelligence & Virtual Reality – AIVR ’20, Utrecht, Netherlands: IEEE, 2020. (accepted for publication)
Weitere Informationen:
http://www.hs-duesseldorf.de
http://www.mirevi.de
Merkmale dieser Pressemitteilung:
Journalisten
Energie, Informationstechnik, Medien- und Kommunikationswissenschaften, Medizin
überregional
Forschungsergebnisse, Wissenschaftliche Tagungen
Deutsch
