Eine hocheffiziente Software verwandelt das Smartphone in einen 3D-Scanner. Die Technologie erlaubt es, 3D-Modelle von Gesichtern zu erzeugen. (Foto: Institut für Visual Computing / ETH Zürich)
Zürich – Wissenschaftler der ETH Zürich haben eine App entwickelt, die ein gewöhnliches Smartphone in einen 3D-Scanner verwandelt. Die Software macht das Scannen von dreidimensionalen Objekten fast so einfach wie das Fotografieren. Die Forschenden präsentierten ihre Technologie an der International Conference on Computer Vision in Sydney.
3D-Scanning ermöglicht es, einen Gegenstand realitätsgetreu abzubilden und Daten über dessen Form und Erscheinung zu erfassen. Bisherige Verfahren sind meist sehr aufwendig, benötigen viel Hardware und eine hohe Rechenleistung, weshalb sie sich nicht für spontane Aufnahmen eignen. Wissenschaftler um Marc Pollefeys, Professor am Institut für Visual Computing der ETH Zürich, haben nun eine effiziente Software entwickelt, die sie für Smartphones optimiert haben. Das dreidimensionales Scannen ist für den Benutzer damit fast so einfach macht wie das Fotografieren. Die Wissenschaftler haben die Demoversion der App gestern an der International Conference on Computer Vision in Sydney erstmals der Öffentlichkeit vorgestellt.
Mehr Interaktion dank Echtzeit-Feedback
Ähnlich wie beim Fotografieren richtet der Benutzer die Kamera seines Smartphones auf ein beliebiges Objekt. Anstatt auf den Auslöser zu tippen, bewegt er das Gerät über das Objekt hinweg, damit es laufend Bilder aufzeichnen kann. Schon nach wenigen Aufzeichnungen erscheint auf dem Bildschirm ein 3D-Modell des auf diese Weise eingescannten Objekts. Solange der Benutzer seine Smartphone-Kamera über dieses hinweg bewegt, werden automatisch zusätzliche Bilder aufgenommen, die das 3D-Modell kontinuierlich verbessern.
Auf dem Smartphone-Display kann der Benutzer jederzeit überprüfen, ob Bildausschnitte fehlen oder ungenügend sind und das Objekt aus zusätzlichen Blickwinkeln scannen. Dieses Echtzeit-Feedback ist nur möglich, weil die App die dreidimensionale Darstellung direkt auf dem Smartphone berechnet. «Das ist ein riesiger Vorteil gegenüber bisherigen Lösungen, welche die verschiedenen Bilder erst in der Cloud verarbeiten müssen, und das 3D-Modell erst einige Zeit nach der Aufnahme anzeigen können.», erklärt Marc Pollefeys. Für den Informatikprofessor sind die bisherigen Methoden mit der analogen Fotografie vergleichbar. «Bevor digitale Kameras entwickelt wurden, sah man das Resultat auch erst dann, wenn man das Foto entwickelt hatte.»
Effiziente Berechnungen für kleine Geräte
Weitere Vorteile einer mobilen Anwendung liegen auf der Hand: 3D-Scans können mit dem Smartphone nicht nur überall und jederzeit gemacht werden. Mit den kleinen Geräten kann man Objekte auch einfach von verschiedenen Standpunkten aus abbilden. Die ETH-Technologie funktioniert selbst bei schlechten Lichtverhältnissen, wie beispielswei-se in Museen oder Kirchen. So könnte künftig eine Besucherin im Museum eine Skulptur einscannen und sie später zu Hause detailliert betrachten und bearbeiten. Denkbar wäre auch, dass man das 3D-Modell in einer Cloud speichert und es von dort aus weiter verbessert.
Die Wissenschaftler setzten bei der Entwicklung der Software auf die herkömmlichen Sensoren, mit denen jedes Smartphone ausgestattet ist und benutzen neben der Kame-ra auch die vorhandenen Drehraten- und Beschleunigungssensoren. So konnten sie einen Scan-Prozess programmieren, der einfach und robust sowie intuitiv bedienbar ist. Sobald der 3D-Scan aktiviert ist, bestimmt das System aus den Bewegungen des Be-nutzers automatisch die richtigen Momente, in denen es die Bilder aufzeichnet. «Noch vor zwei Jahren hätte man eine solche Software nur auf grossen Computern laufen lassen können. Dass dies auf einem Smartphone funktioniert, wäre undenkbar gewesen», sagt Marc Pollefeys.
3D-Modelle von Gesichtern erzeugen
Der mobile 3D-Scanner kann die absolute Grösse und die vertikale Ausrichtung eines Objekts ermitteln, was mit bisherigen 3D-Bildverfahren nicht möglich war. Dazu muss die App hunderttausende Bildpunkte rekonstruieren. Diese komplexen Berechnungen müssen jedoch so effizient ausgeführt werden, dass der Nutzer den aktuellen Stand des Scans unmittelbar auf dem Display sieht. Die ETH-Forschenden nutzten deshalb den Grafik-Co-Prozessor des Smartphones (GPU), um die Datenrekonstruktion zu beschleunigen.
Die Technologie erlaubt es auch, 3D-Modelle von Gesichtern zu erzeugen. Porträtbilder von Freunden und Familienangehörigen oder Profilbilder in sozialen Medien könnten so in Zukunft eine dritte Dimension erhalten. Anwendungen sehen die Wissenschaftler überall dort, wo Visualisierungen zum Einsatz kommen. Die 3D-Modelle können auch mit einem 3D-Printer ausgedruckt werden.
Die App gibt es zurzeit erst als Demoversion, läuft aber auf fast allen gängigen Smartphones mit Android Betriebssystem. (ETH/mc/pg)