Directly to content
  1. Publishing |
  2. Search |
  3. Browse |
  4. Recent items rss |
  5. Open Access |
  6. Jur. Issues |
  7. DeutschClear Cookie - decide language by browser settings

Optical-Flow Based Detection of Moving Objects in Traffic Scenes

Klappstein, Jens

German Title: Detektion von bewegten Objekten in Straßenverkehrsszenen mittels des optischen Flusses

[thumbnail of diss.pdf]
Preview
PDF, English
Download (2MB) | Terms of use

Citation of documents: Please do not cite the URL that is displayed in your browser location input, instead use the DOI, URN or the persistent URL below, as we can guarantee their long-time accessibility.

Abstract

Traffic is increasing continuously. Nevertheless the number of traffic fatalities decreased in the past. One reason for this are the passive safety systems, such as side crash protection or airbag, which have been engineered the last decades and which are standard in today's cars. Active safety systems are increasingly developed. They are able to avoid or at least to mitigate accidents. For example, the adaptive cruise control (ACC) original designed as a comfort system is developed towards an emergency brake system. Active safety requires sensors perceiving the vehicle environment. ACC uses radar or laser scanner. However, cameras are also interesting sensors as they are capable of processing visual information such as traffic signs or lane markings. In traffic moving objects (cars, bicyclists, pedestrians) play an important role. To perceive them is essential for active safety systems. This thesis deals with the detection of moving objects utilizing a monocular camera. The detection is based on the motions within the video stream (optical flow). If the ego-motion and the location of the camera with respect to the road plane are known the viewed scene can be 3D reconstructed exploiting the measured optical flow. In this thesis an overview of existing algorithms estimating the ego-motion is given. Based on it a suitable algorithm is selected and extended by a motion model. The latter one considerably increases the accuracy as well as the robustness of the estimate. The location of the camera with respect to the road plane is estimated using the optical flow on the road. The road might be temporary low-textured making it hard to measure the optical flow. Consequently, the road homography estimate will be poor. A novel Kalman filtering approach combining the estimate of the ego-motion and the estimate of the road homography leads to far better results. The 3D reconstruction of the viewed scene is performed pointwise for each measured optical flow vector. A point is reconstructed through intersection of the viewing rays which are determined by the optical flow vector. This only yields a correct result for static, i.e. non-moving, points. Further, static points fulfill four constraints: epipolar constraint, trifocal constraint, positive depth constraint, and positive height constraint. If at least one constraint is violated the point is moving. For the first time an error metric is developed exploiting all four constraints. It measures the deviation from the constraints quantitatively in a unified manner. Based on this error metric the detection limits are investigated. It is shown that overtaking objects are detected very well whereas objects being overtaken are detected hardly. Oncoming objects on a straight road are not detected by means of the available constraints. Only if one assumes that these objects are opaque and touch the ground the detection becomes feasible. An appropriate heuristic is introduced. In conclusion, the developed algorithms are a system to detect moving points robustly. The problem of clustering the detected moving points to objects is outlined. It serves as a starting point for further research activities.

Translation of abstract (German)

Der Verkehr auf den Straßen nimmt immer mehr zu. Dennoch ist die Anzahl der Verkehrstoten kontinuierlich zurückgegangen. Dies liegt vor allem an den passiven Sicherheitssystemen, wie Seitenaufprallschutz oder Airbag, welche in den vergangenen Jahrzehnten entwickelt wurden und heute Standard in allen Neufahrzeugen ist. Zunehmend werden aktive Sicherheitssysteme entwickelt. Sie sind in der Lage Unfälle zu vermeiden oder zumindest abzuschwächen. So werden die Abstandsregeltempomaten (ART), die ursprünglich als Komfortsystem ausgelegt waren, hin zu einem automatischen Notbremssystem entwickelt. Aktive Sicherheit erfordert Sensoren, die die Umgebung des Fahrzeugs erfassen. Für ART werden Radarsysteme oder Laserscanner eingesetzt. Aber auch Kameras sind interessante Sensoren, da mit ihnen zusätzlich visuelle Informationen wie Verkehrsschilder oder Fahrbahnmarkierungen verarbeitet werden können. Im Straßenverkehr spielen bewegte Objekte (Fahrzeuge, Fahrradfahrer, Fußgänger) eine entscheidende Rolle. Sie zu erkennen ist essentiell für aktive Sicherheitssysteme. Die vorliegende Arbeit setzt sich mit der Detektion von bewegten Objekten mittels einer monokularen Kamera auseinander. Zur Detektion werden die Bewegungen im Videostrom (optischer Fluss) ausgewertet. Ist die Eigenbewegung und die Lage der Kamera in Bezug zur Straßenebene bekannt, kann die aufgenommene Szene mittels des gemessenen optischen Flusses dreidimensional rekonstruiert werden. In der Arbeit wird ein Überblick über bekannte Algorithmen zur Schätzung der Eigenbewegung gegeben. Darauf aufbauend wird ein geeigneter Algorithmus ausgewählt und um ein Bewegungsmodell erweitert. Letzteres steigert sowohl die Genauigkeit als auch die Robustheit erheblich. Die Lage der Kamera zur Straßenebene wird anhand des optischen Flusses der Straße geschätzt. Hierbei ist zu beachten, dass die Straße zeitweilig wenig texturiert sein kann, was das Messen des optischen Flusses erschwert. Die Folge ist eine ungenaue Schätzung der Kameralage. Ein neuartiger Kalman-Filter Ansatz, welcher die Schätzung der Eigenbewegung und die der Kameralage miteinander verbindet, führt zu deutlich besseren Ergebnissen. Die 3D Rekonstruktion der aufgenommenen Szene geschieht punktweise für jeden gemessenen optischen Flussvektor. Ein Punkt wird rekonstruiert, indem die Sehstrahlen, gegeben durch den Flussvektor, zum Schnitt gebracht werden. Dies ergibt nur für statische, d.h. nicht bewegte, Punkte ein korrektes Ergebnis. Ferner erfüllen statische Punkte vier Bedingungen: Epipolarbedingung, Trifokalbedingung, Bedingung der positiven Tiefe und der positiven Höhe. Ist mindestens eine Bedingung verletzt, handelt es sich um einen bewegten Punkt. Es wird eine Fehlermetrik entwickelt, welche erstmals alle vier Bedingungen ausnutzt und die Abweichung von den Bedingungen einheitlich und quantitativ beschreibt. Anhand dieser Fehlermetrik werden die Grenzen der Detektierbarkeit untersucht. Konkret wird gezeigt, dass überholende Objekte sehr gut erkennbar sind, dagegen überholte Objekte (Objekte, die langsamer sind als das Eigenfahrzeug) nur sehr schlecht. Gegenverkehr auf gerader Strecke ist nur unter den zusätzlichen Annahmen, dass die Objekte auf dem Boden stehen und undurchsichtig sind, detektierbar. Eine entsprechende Heuristik wird vorgestellt. In Summe stellen die entwickelten Algorithmen ein System zur robusten Detektion von fremdbewegten Punkten dar. Auf das Problem der Gruppierung der Punkte zu Objekten wird kurz eingegangen. Es dient als Ausgangspunkt für weitergehende Forschungsaktivitäten.

Document type: Dissertation
Supervisor: Jähne, Prof. Dr. Bernd
Date of thesis defense: 28 July 2008
Date Deposited: 30 Jul 2008 14:12
Date: 2008
Faculties / Institutes: Service facilities > Interdisciplinary Center for Scientific Computing
DDC-classification: 004 Data processing Computer science
Controlled Keywords: Bildverarbeitung
Uncontrolled Keywords: optischer Fluss , Eigenbewegung , Bewegungsdetektionoptical flow , ego motion , motion detection
About | FAQ | Contact | Imprint |
OA-LogoDINI certificate 2013Logo der Open-Archives-Initiative