Lächeln auf Kommando
Saarbrücken · Forscher des Saarbrücker Max-Planck-Instituts für Informatik haben eine Software vorgestellt, die den Gesichtsausdruck eines Menschen in einem laufenden Film verändern kann. Die Effekte sind verblüffend.
In Deutschland müssen Kinofilme synchronisiert werden, sollen sie beim Publikum Erfolg haben. Der Aufwand ist riesig, doch der Erfolg nicht immer garantiert. Nicht nur muss die Länge des neu gesprochenen Textes zur Szene passen, die deutsche Sprachspur soll möglichst auch lippensynchron zu den Mundbewegungen der Schauspieler sein. Das ist oft schwierig - Bild und Ton passen trotz aller Mühen nicht immer zusammen. Wenn die US-Schauspielerin im Liebesdrama in Großaufnahme ein "I love you" in die Kamera haucht, sind die unterschiedlichen Lippenbewegungen beim "Ich liebe dich" der Synchronfassung unübersehbar. Schön wär's, wenn sich da zur Abwechslung das Bild dem Ton anpassen ließe. Geht nicht? Geht doch, erklärt Professor Christian Theobalt vom Saarbrücker Max-Planck-Institut für Informatik . Der Informatiker hat mit seiner Arbeitsgruppe ein Verfahren der virtuellen Gesichts transplantation entwickelt. Es kann in Filmaufnahmen Mundbewegungen und Mimik eines Menschen aufs Antlitz eines anderen übertragen.
Die Saarbrücker Informatiker sind Spezialisten für 3-D-Animationen und Bilderkennung. Sie entwickeln mathematische Grundlagen für Computerverfahren, die es erlauben, den Gesichtsausdruck eines Menschen unter allen Beleuchtungsverhältnissen zu erkennen. Die spektakulärsten Anwendungen dieser Programme zeigt heute die Tricktechnik des Kinos. Dabei gilt bisher in der Filmbranche das Prinzip "Viel hilft viel". Beim sogenannten Motion-Capture-Verfahren, bei dem ein Schauspieler zunächst digital vermessen wird, damit später jede Regung seines Gesichts naturgetreu in eine Computeranimation übertragen werden kann, werden zur Gesichtsrekonstruktion Bilder von bis zu 40 Kameras ausgewertet, erklärt Theobalt. "Unser Ziel ist es, das mit einer Kamera hinzubekommen, bei jedem Licht, in jeder beliebigen Umgebung."
Für eine natürlich wirkende Animation wird fürs Computerkino ein dreidimensionales Gesichtsmodell benötigt, im Fachjargon "Face Rig" genannt. Dieses Schädelmodell erhält einen digitalen Überzug aus Muskeln und Haut. Die Gesichts- und Lippenbewegungen des kompletten digitalen Modells ergeben schließlich zusammen mit dem Spiel von Licht und Schatten auf der digitalen Haut einen hoffentlich natürlich wirkenden Gesichtsdruck. Doch wehe, wenn nicht. Schon winzige Fehler der Animation lösen bei den meisten Zuschauern instinktive Ablehnung aus. Dieser gefürchtete psychologische Effekt kann ein Filmstudio extrem extrem teuer zu stehen kommen. Deshalb werden Digitalszenen aufwendig retuschiert. "In großen Filmstudios wird an manchen Fünf-Sekunden-Szenen mehrere Wochen gearbeitet", so Theobalt. Das geschieht von Hand. "Wir schaffen das jetzt per Software ", erklärt der Saarbrücker Informatiker, der das Face2Face genannte Programm in den nächsten Monaten bei zwei großen wissenschaftlichen Konferenzen vorstellen will.
Dabei werden von der Saarbrücker Software mehrere Kunststücke erwartet. Sie muss aus einer einfachen Filmsequenz auf einen Schlag das komplette Gesichtsmodell einer Person erzeugen und parallel aus den Filmbildern die Beleuchtungsverhältnisse der Originalaufnahme rekonstruieren können.
Das bedeutet maximalen Stress für die Grafikeinheit eines Rechners und klappt deshalb bei voller Qualität noch nicht in Echtzeit, so Theobalt. Pro Filmbild benötige eine handelsübliche High-End-Grafikkarte etwa zwei Minuten für diese Berechnungen. Bei Menschen mit langen Haaren, die Teile des Gesichts verdecken, stoße das Programm an physikalische Grenzen, weil es bei Bewegungen der Haare keine Daten über die dann zum Vorschein kommenden Haut besitzt. Bei größeren Kopfbewegungen gibt es das gleiche Problem mit dem Bildhintergrund.
Bei einer reduzierten Auflösung reicht die heutige Hardware-Leistung allerdings bereits für verblüffende Manipulationen von Filmbildern in Echtzeit. Ein mit PC und Webcam ausgerüsteter Computernutzer kann damit einer anderen Person in einer beliebigen Filmsequenz seine Mimik direkt ins Gesicht tapezieren. Lächelt der Mensch vor der Webcam, dann lächelt gleichzeitig das von ihm ferngesteuerte Filmgesicht. Schaut er böse ins Objektiv, verändert auch das Gesicht auf dem Monitor seinen Ausdruck von freundlich nach feindlich. "Es gibt bisher weltweit kein anderes Verfahren, dass das zustande bringt", so Christian Theobalt stolz.
2,5 Millionen Zuschauer haben sich das Video, das die Saarbrücker Informatiker mit Kollegen der Universitäten Erlangen und Stanford beim Internet-Videokanal Youtube veröffentlicht haben, schon angesehen. Die Reaktionen reichen von "schwer beeindruckt" bis "schwer besorgt". Denn schließlich ermögliche diese Technik bisher völlig unbekannte Manipulationen von Filmbildern in Echtzeit. "Keine Frage", so Christian Theobalt, "so etwas kann missbraucht werden." Doch nur, wer sich mit dieser Technik auskenne, sei später auch in der Lage, herauszufinden, ob an einer Filmsequenz manipuliert wurde. "Als öffentliche Forschungseinrichtung ist es uns wichtig, die vielen Möglichkeiten, aber auch die Risiken neuer Bildverarbeitungsverfahren anzusprechen. Alle Details der Methode sind veröffentlicht."
An der neuen Mimiksoftware habe schließlich auch die Industrie Interesse angemeldet. Eine große Rolle könne die Technik bei sogenannten Telepräsenzsystemen spielen, bei denen aus dem Bild einer Webcam das 3-D-Modell eines Gesichts rekonstruiert wird. Zu den eher ausgefallenen Anwendungen zählt dagegen der virtuelle Spiegel: ein Computermonitor, der auf Knopfdruck nicht mehr nur unser Spiegelbild zeigt, sondern dieses Bild auch verändern kann. Von der neuen Frisur übers neue Make-up bis zur neuen Brille ist da alles möglich. "Spieglein, Spieglein an der Wand, mach' mich zur Schönsten im ganzen Land."
watch?v=ohmajJTcpNk
