News

Tiefenwahrnehmung vollautomatisch

InformatikerInnen der Technischen Universität (TU) Wien arbeiten an der Entwicklung vollautomatischer Algorithmen zur Tiefenwahrnehmung von Bildinhalten. Diese Algorithmen liefern, im Gegensatz zu bisher verwendeten Systemen, auch ausgezeichnete Ergebnisse in schwierigen Bildteilen wie einfärbigen Bildbereichen (z.B. weiße Wand) oder bei Verdeckungen an Objektgrenzen. Mit den neuartigen Auswerteverfahren rückt der Bereich der 3D-Bildverarbeitung von seinem etablierten Feld der wissenschaftlichen Bildanalyse zusehends in Richtung Heimanwender, wo innovative Multimediaanwendungen à la "Google-Earth" davon profitieren können.

Ein linkes und rechtes 2D-Bild werden vollautomatisch überlagert, um eine 3D-Rekonstruktion zu berechnen.

Ein linkes und rechtes 2D-Bild werden vollautomatisch überlagert, um eine 3D-Rekonstruktion zu berechnen.

Ein linkes und rechtes 2D-Bild werden vollautomatisch überlagert, um eine 3D-Rekonstruktion zu berechnen.

Ein linkes und rechtes 2D-Bild werden vollautomatisch überlagert, um eine 3D-Rekonstruktion zu berechnen.

Ein Originalbild wird automatisch in eine nicht-photorealistische Ansicht in Anlehnung am Stil eines Comics transformiert.

Ein Originalbild wird automatisch in eine nicht-photorealistische Ansicht in Anlehnung am Stil eines Comics transformiert.

Ein Originalbild wird automatisch in eine nicht-photorealistische Ansicht in Anlehnung am Stil eines Comics transformiert.

Ein Originalbild wird automatisch in eine nicht-photorealistische Ansicht in Anlehnung am Stil eines Comics transformiert.

Comic

Comic

Comic

Comic

Michael Bleyer und Margrit Gelautz

Michael Bleyer und Margrit Gelautz

Michael Bleyer und Margrit Gelautz

Michael Bleyer und Margrit Gelautz

Wien (TU). - Die Fähigkeit des Menschen seine Umgebung in drei Dimensionen wahrzunehmen, wird oft als selbstverständlich erachtet. Alles andere als einfach ist es jedoch, einen Computer damit auszustatten. Nichtsdestotrotz ist dies das erklärte Ziel einer Gruppe von ForscherInnen am Institut für Softwaretechnik und Interaktive Systeme der TU Wien. Mit Hilfe zweier Bildkameras nehmen die WissenschafterInnen dabei Szenen aus leicht versetzten Blickwinkeln auf. In Analogie zur menschlichen Tiefenwahrnehmung repräsentieren diese Kameras das linke und das rechte Auge. Der Computer "überlagert" anschließend die beiden Bilder, um auf diese Weise Tiefeninformation zu gewinnen.

Dem Computer die Fähigkeit zum Sehen in 3D zu geben ist aus zwei Aspekten interessant. Michael Bleyer, Projektassistent am Institut für Softwaretechnik und Interaktive Systeme der TU Wien, sagt: "Ein wesentlicher Punkt ist die psychologische Komponente. Wenn wir es schaffen, dem Computer die Wahrnehmung der dritten Dimension beizubringen, dann können wir dadurch auch besser verstehen, wie das menschliche Wahrnehmungssystem diese Aufgabe bewältigt." Von unmittelbarem Nutzen sind aber zahlreiche praktische Anwendungen des maschinellen Sehens.
Bleyer: "Ein momentan sehr aktuelles Anwendungsgebiet ergibt sich in der Fernerkundung. Stereokameras können an Flugzeugen montiert werden. Nach Überfliegen eines Gebietes ist es möglich, automatisch eine entsprechende Tiefenkarte zu erstellen. Auf diese Weise kann zum Beispiel Google Earth mit 3D-Informationen angereichert werden, so dass der Benutzer die Landkarte kippen kann, um die Höhe einzelner Gebäude zu erkennen." Margrit Gelautz, Professorin der TU Wien, beschreibt eine weitere Applikation: "Im Bereich der Unterhaltungsindustrie zeichnet sich ein zukünftiger Trend hin zum 3D-Fernsehen ab. Unsere 3D-Modelle können verwendet werden, um den Betrachtungspunkt in einem Video zu wählen. Der Fernsehzuschauer kann während einer Fußballübertragung stufenlos die Kamera um einen Spieler rotieren lassen, um jene Perspektive zu finden, die für ihn am Interessantesten erscheint."

Der Hemmschuh des maschinellen Sehens in 3D liegt darin, dass der Prozess des Stereo-Matchings, welcher die automatische Überlagerung der Eingabebilder bezeichnet, noch nicht ausgereift ist. Im Stereo-Matching gilt es zu jedem Pixel des linken Bildes ein korrespondierendes Pixel im rechten Bild zu finden.
Für manche Bildregionen lassen sich die korrekten Korrespondenzen allerdings nur schwer ermitteln. Gelautz: "Eine besondere Herausforderung stellen einheitlich gefärbte Bildregionen dar. Dies ist mit einer Person vergleichbar, die nichts anderes sieht als eine komplett in weiß gestrichene Wand. In diesem Fall kann auch der menschliche Betrachter nur schwer die Entfernung zu dieser Wand abschätzen." Ein zweites Problem ergibt sich durch so genannte verdeckte Pixel. Bleyer: "Auf Grund der Szenengeometrie treten Pixel auf, die nur in jeweils einem der Bilder sichtbar sind. Für derartige Pixel können daher keine Korrespondenzen gefunden werden." Im Rahmen eines FWF-Projekts und einer Dissertation beschäftigten sich Margrit Gelautz und Michael Bleyer mit diesen Problemen. Ein von ihnen entwickelter Algorithmus zur automatischen Lösung des Stereo-Matching-Problems wurde dabei mit dem prestigeträchtigen "Best Paper Award" des renommierten "ISPRS Journals" der International Society for Photogrammetry and Remote Sensing ausgezeichnet. Im Rahmen eines kürzlich gestarteten, vom FWF unterstützten Nachfolge-Projekts "Energiefunktionen für globales Stereo-Matching" führen Gelautz und Bleyer ihre Arbeit am Stereo-Matching-Problem fort. Sie beschäftigen sich dabei vor allem mit der weiteren Verbesserung der Szenenmodellierung um die Rekonstruktionsergebnisse zu verfeinern.
 
Eine originelle Anwendung der Stereorekonstruktion liegt im Bereich "Computer und Kunst". Mit Hilfe der berechneten Tiefenkarten können automatisch nicht-photorealistische Ansichten generiert werden.
Aus echten Bildern entstehen künstlerische Skizzen, die an händische Zeichnungen oder Comics erinnern.  Die hochgenaue Szenenrekonstruktion durch die neu entwickelten Stereoalgorithmen bildet dabei die Grundlage für die Transformation des Ausgangsbildes in abstrahierte Darstellungen, die verschiedenen Zeichen- und Malstilen (zum Beispiel Impressionismus) nachempfunden sind.

Fotodownload: https://www.tuwien.ac.at/index.php?id=6775

Rückfragehinweis:
Ao.Univ.Prof. Dipl.-Ing. Mag. Dr. Margrit Gelautz    
Projektass.(FWF) Dipl.-Ing. Dr. Michael Bleyer
Technische Universität Wien
Institut für Softwaretechnik und Interaktive Systeme      
Favoritenstraße 9-11//188, 1040 Wien
T +43/1/58801 - 18849, -18865
F +43/1/58801 - 18898
E margrit.gelautz@tuwien.ac.at
E michael.bleyer@tuwien.ac.at


Aussender:
Mag. Daniela Hallegger
TU Wien - PR und Kommunikation
Karlsplatz 13/E011, A-1040 Wien
T +43-1-58801-41027
F +43-1-58801-41093
E daniela.hallegger@tuwien.ac.at

http://www.tuwien.ac.at/pr