Hochschule fuumlr Angewandte Wissenschaften Hamburg

Hamburg University of Applied Sciences

Faculty of Engineering and Computer ScienceDepartment of Computer Science

Fakultaumlt Technik und InformatikDepartment Informatik

Ausarbeitung Anwendungen 1

Ivo Nikolov

Adaptive Kameraparametrierung zur optimalenFahrspurerkennung und -Verfolgung

INHALTSVERZEICHNIS 1

Inhaltsverzeichnis

1 Einfuumlhrung 211 Motivation 212 Problemstellung 213 Das Fahrzeug Onyx 3

2 Das Verfahren zur Fahrbahnverfolgung 521 Die Kamera 522 Der Spurerkennungsalgorithmus Polaris 623 Die Steuerungssoftware 7

3 Adaptive Kameraparametrierung zur optimalen Fahrspurerkennung 831 Kameraparameter 932 Schwellwertselektion 1033 Belichtungsregelung 1134 Belichtungsregelung mittels Merkmalsextraktionstechniken 12

4 Zusammenfassung und Ausblick auf Projekt 1 12

1 EINFUumlHRUNG 2

1 Einfuumlhrung

Das FAUST-Projekt ist eines der studentischen departementuumlbergreifenden Projekte an derHochschule fuumlr Angewandte Wissenschaften Hamburg In diesem Rahmen werden Tech-nologien fuumlr Fahrerassistenz- und Autonome Systeme entwickelt und entworfen AutonomesFahren wurde auf Autobahnen und Landstraszligen seit Anfang der neunziger Jahre in verschie-denen Projekten erforscht Der Erfolg autonomer Fahrroboter hat gezeigt dass automati-sches Fahren bereits moumlglich ist (Thrun 2006) (Volkswagen 2006) Am Markt verfuumlgbareFahrerassistenzsysteme greifen bereits heute aktiv in die Fahrzeuglaumlngs- und Querfuumlhrungein Fuumlr die Zukunft ist der Automatisierung in der Fahrzeugfuumlhrung von der reinen Assistenzhin zu automatischen Fahrfunktionen denkbar (Weiser u a 2009) Zudem werden aktuellim FAUST Projekt kamerabasierte Systeme zur Fahrspurerkennung fuumlr die Navigation vonautonomen Fahrzeugen entwickelt (Kant 2007) (Berger 2008) (Jenning 2009)

11 Motivation

Der Hochschulwettbewerb Carolo-Cup einer der Schwerpunkte innerhalb des ProjektesFAUST bietet Studententeams die Moumlglichkeit sich mit der Entwicklung und Umsetzung vonautonomen Modellfahrzeugen auseinander zu setzen Die Fahrzeuge basieren auf vierraumld-rigen 110-Modellen Die Wahl der Sensoren bleibt jedem Team selbst uumlberlassen BeimWettbewerb muumlssen bestimmte Fahraufgaben autonom moumlglichst schnell und fehlerfrei be-waumlltigt werden und die erarbeiteten Konzepte in Praumlsentationen erlaumlutert werden

12 Problemstellung

Laut (Carolo-Cup 2010) soll das Fahrzeug bei der dynamischen Disziplin Rundstrecke auto-nom drei Minuten lang auf einem unbekannten Rundkurs so weit wie moumlglich fahren Bei derStraszlige handelt es sich um die Nachbildung einer Landstraszlige (vgl Abbildung 1) bestehendaus langen Geraden schnellen Kurven engen Serpentinen und Kreuzungen Die Straszligeist konstant 820 mm breit und an den Raumlndern mit durchgezogenen Linien abgegrenzt Diezwei Fahrspuren werden durch eine gestrichelte Mittellinie geteilt Das Verlassen der eige-nen Fahrspur mit mehr als einem Rad wird bestraft Alle Linien sind weiszlig und 20 mm breitDie Mittellinie ist alle 200 mm durch eine 200mm Luumlcke unterbrochen Die engste Kurve hateinen Innenradius von 1000 mm Die komplette Rundstrecke befindet sich in der Ebene EineRunde ist max 200 m lang Alle drei Linien koumlnnen in allen Durchlaumlufen an beliebiger Stelleauf einer Laumlnge von bis zu 1m unterbrochen werden Auszliger an Kreuzungen fehlen jedochan jeder Stelle des Rundkurses nur maximal zwei Linien zeitgleich

1 EINFUumlHRUNG 3

Abbildung 1 Straszligenausschnitt

13 Das Fahrzeug Onyx

Zur Teilnahme am Carolo Cup 2009 wurde an der HAW Hamburg das Fahrzeug Onyx ent-wickelt Dieses Fahrzeug basiert auf einem Ford F-350 Pickup-Modell im Maszligstab 110Als Steuerungselektronik werden drei ARM 7 Prozessoren mit entsprechenden IO-Plattinenfuumlr die Sensordatenverarbeitung verwendet Die eigentliche Rechenleistung stellt ein AcerAspire One Subnotebook zur Verfuumlgung welches mit einem Intel Atom Prozessor mit 16GHz ausgestattet ist Die Kamera und die ARM-Prozessoren sind jeweils uumlber USB mit demNotebook verbunden Auf dem Acer Aspire One Subnotebook ist ein Linux Betriebssystemeingerichtet Das Steuerungsprogramm ist komplett objektorientiert (C++) und besitzt einWeb-Interface fuumlr bequemes Konfigurieren und Debuggen (sog FAUSTcore)

1 EINFUumlHRUNG 4

Abbildung 2 Das Fahrzeug Onyx

Die Auswahl von Sensoren wurde anhand der Erfahrungen aus dem Carolo-Cup 2008 undden dort zu bewaumlltigenden Aufgaben getroffen (Hensel 2008) Zur Umfelderfassung verfuumlgtdas Fahrzeug uumlber die folgenden Sensoren

bull Inkrementalgeber an Vorderraumldern

bull je zwei Ultraschallsensoren nach vorne und hinten

bull je zwei Infrarotsensoren nach rechts und links

bull Kompass

bull Beschleunigungssensor

bull optische Hinderniserkennung

bull Kamera

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 5

2 Das Verfahren zur Fahrbahnverfolgung

Der funktionale Systemaufbau der am Carolo-Cup 2010 eingesetzten Spurfuumlhrung ist in Ab-bildung 3 dargestellt Hardware und Software Komponenten sind in grau bzw weiszlig abgebil-det

Abbildung 3 Systemaufbau der Spurfuumlhrung

Ziel dieses Systems ist im 25 Millisekundentakt den Lenkwinkel neu zu berechnen damit dasFahrzeug schnell auf Aumlnderungen der aktuellen Fahrspurgeometrie reagieren kann Zu die-sem Zweck soll die Kamera mindestens 40 Bilder pro Sekunde liefern Der Spurerkennungs-algorithmus verarbeitet diese Bilder um die Fahrspurgeometrie zu bestimmen Zur Steuerungder Aktorik werden dann Lenkwinkel und Geschwindigkeit berechnet

21 Die Kamera

Abbildung 4 Monochrom-USB-Kamera UI-1226LE-M

Das Fahrzeug Onyx verfuumlgt uumlber eine Monochrom-USB-Kamera UI-1226LE-M aus der Ueye-Serie der Firma IDS-Imaging Die UI-1226LE-M ist eine aumluszligerst kompakte Ein-Platinen-

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 6

Kamera mit modernem Aptina CMOS-Sensor in Wide VGA-Aufloumlsung (752x480 Pixel) Die-se Kamera kann bis zu 87 Bilder pro Sekunde liefern und die Belichtungszeit kann bis auf80 micros reduziert werden so dass auch fuumlr bewegliche Objekte ausreichend scharfe Fo-tos entstehen Durch Verwendung der weit verbreiteten USB 20-Technologie ist die An-bindung an verschiedenste Systeme problemlos moumlglich Die UI-1226LE besitzt einen S-Mount-Objektivhalter mit M12-Gewinde und integriertem Filterglas Um die Integration zuerleichtern sind die Programmiersprachen C C++ Microsoft NET und Visual Basic unter-stuumltzt

22 Der Spurerkennungsalgorithmus Polaris

(a) Original Kamerabild (b) Erkennung von Fahrspurpunkte

Abbildung 5 Fahrspurerkennung mittels Polaris

Der Spurerkennungsalgorithmus Polaris (Jenning 2009) hat die Aufgabe die entstandenenBilder zu bearbeiten und die Fahrspurgeometrie zu bestimmen Da Bildverarbeitung in derRegel sehr aufwendig ist werden nur ein paar Betrachtungsbereiche pro Fahrspurmarkie-rung ausgewertet (vgl Abbildung 5b) Im Englischen wird der Betrachtungsbereich als Re-gion Of Interest(ROI) bezeichnet Um die Kanten zu detektieren wird jeder Betrachtungsbe-reich des Bildes mit dem horizontalen Sobel-Operator gefiltert Nach der Faltung mit demSobel-Operator wird eine Schwellwert-Funktion zur Erkennung die groumlszligten Kanten ange-wendet Anschlieszligend wird maximal ein Fahrspurmarkierungspunkt pro Betrachtungsbereichextrahiert Weiterhin werden diese Bildpunkte durch eine projektive Transformation in dasFahrzeugkoordinatensystem uumlbertragen Hier liegt das Massezentrum des Fahrzeugs starrim Koordinatenursprung und das Koordinatensystem wird mit dem Fahrzeug bewegt ZurApproximation der Fahrspurmarkierungen werden Polynome 2 oder 3 Grades verwendetUm die Parameter des Polynoms zu approximieren wird die Methode der kleinsten Quadrate

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 7

angewendet Auf diese Weise liefert der Algorithmus Polaris zwei Polynome die die zwei zurFahrspur gehoumlrigen Fahrbahnmarkierungen im Fahrzeugkoordinatensystem beschreiben

23 Die Steuerungssoftware

Ziel der Steuerungssoftware ist bezuumlglich dieser Polynomen Lenkwinkel und Geschwindig-keit fuumlr die Aktorik zu ermitteln Anhand der Parameter des Polynoms kann festgelegt werdenob eine Kurvenfahrt vorsteht Falls noumltig wird dann die Geschwindigkeit reduziert

Abbildung 6 Bestimmung des Zieles

Weiterhin soll die Steuerungssoftware den Lenkwinkel festlegen und die Fahrrichtung desFahrzeuges korrigieren Das Verfahren beruht teilweise auf dem Verhaltensmuster des Men-schen beim Fahren Der Fahrer fokussiert sein Blickfeld in einer gewissen Entfernung vordem Fahrzeug und dreht das Lenkrad relativ zu der Fahrspur Analog dazu lokalisiert dasVerfahren (Nikolov 2009) kontinuierlich ein Ziel dass das Fahrzeug verfolgen soll DiesesZiel sollte im Idealfall in der Mitte der Fahrspur liegen (vgl Abbildung 6) Um die die Fahr-spurmitte zu bestimmen wird die Tangente eines Polynoms gebildet Die Entfernung zwi-schen Fahrzeug und Ziel ist fuumlr Praumlzision und Stabilitaumlt der Fahrbahnverfolgung entschei-dend Um eine praumlzise Fahrt zu erreichen muss das Ziel nah am Fahrzeug liegen damit dieFahrspurgeometrie optimaler beruumlcksichtigt wird Das wiederum beeintraumlchtigt die Stabili-taumlt so erheblich dass houmlhere Geschwindigkeiten nicht erreichbar sind weil die Verzoumlgerungdes Lenkungssystems ausschlaggebende Schwingungen beim Fahren verursacht Um dieseSchwingungen zu reduzieren sollte die Entfernung erhoumlht werden Auf diese Weise wird ei-ne Stabilitaumlt erreicht die die Fahrbahnverfolgung bei houmlheren Geschwindigkeiten ermoumlglichtDas verschlechtert gleichzeitig aber die Praumlzision der Fahrt und ab einer bestimmten Entfer-nung kann der Algorithmus nicht mehr gewaumlhrleisten dass das Fahrzeug dauerhaft auf derzu verfolgenden Fahrbahn bleibt Da sowohl Praumlzision als auch Stabilitaumlt sehr wichtig sind

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

8

muss eine passende Entfernung hinsichtlich der gestellten Anforderungen bestimmt werdenDie bestgeeignete Zielentfernung ist bezuumlglich des minimalen Kurvenradius empirisch ermit-telt worden weil die Fahrt in den engsten Kurven der Strecke am meisten Praumlzision fordert

Abbildung 7 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo

Als naumlchstes soll der Lenkwinkel in Bezug auf das Ziel bestimmt werden Hier kommt dergeometrische Algorithmus bdquoPure Pursuitldquo (Coulter 1992) zum Einsatz Dieser Algorithmusbasiert auf die Kruumlmmung des Kreisbogens der Fahrzeug und Ziel verbindet Diese Kruumlm-mung dient als Fuumlhrungsgroumlszlige fuumlr die Steuerung der Lenkaktorik Das Fahrzeug reagiertkontinuierlich mit einer Kurvenfahrt dieser Kruumlmmung um das Ziel zu erreichen (vgl Abbil-dung 7) Somit entsteht eine stabilere Fahrt weil die Kruumlmmung im Verlauf einer Streckezum groszligen Teil konstant ist

3 Adaptive Kameraparametrierung zur optimalen Fahrspu-rerkennung

Im Kapitel 2 beschriebene Verfahren zur Fahrbahnverfolgung bestimmt die Fahrspurgeo-metrie indem der Spurerkennungsalgorithmus Polaris Kamerabilder auswertet Bevor eineFahrbahnverfolgung realisiert werden kann muumlssen passende zu Lichtverhaumlltnissen Kame-raparameter empirisch ermittelt werden Waumlhrend einer Fahrt wird die Kamera mit den ent-sprechenden Parameter gesteuert um Bilder zu produzieren Wenn aber die Fahrstreckenicht gleichmaumlszligig belichtet ist treten Probleme auf weil manche Bilder unter- oder uumlberbe-lichtet werden Weiterhin soll der Schwellwert fuumlr die Spurerkennung festgelegt werden Der

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

9

bestgeeigneter Schwellwert ist von Kantenfilterung und Belichtung des Bildes abhaumlngig Ausdiesem Grund ist eine Adaptive Kameraparametrierung in Echtzeit nuumltzlich

31 Kameraparameter

Belichtungszeit ist die Dauer fuumlr die sich der Verschluss der Kamera oumlffnet und das Aufnah-mematerial dem durch das Objektiv projizierten Bild aussetzt Wenn das Aufnahmelicht sehrhell ist oder um Bewegung zu stoppen soll die Belichtungszeit verkuumlrzt werden Lange Be-lichtungszeit ist vorteilhaft wenn das Aufnahmelicht schwach ist Damit das Fahrzeug schnellauf Aumlnderungen der Spurgeometrie reagiert soll die Kamera mindestens 40 Bilder pro Se-kunde aufnehmen Dadurch ist die Belichtungszeit auf 25 ms begrenzt Damit ausreichendscharfe Bilder auch bei houmlheren Geschwindigkeiten entstehen soll die Belichtungszeit nochreduziert werden In Abbildung 8 sind Kamerabilder mit unterschiedlichen Belichtungszei-ten dargestellt Die entsprechenden mit horizontalem Sobel-Operator gefilterten Bilder wer-den mit unterschiedlichen Schwellwerten verarbeitet weil der bestgeeignete Schwellwert zurKantenextraktion mit der Belichtung des Bildes gebunden ist (vgl Abbildung 9)

(a) 1 ms (b) 10 ms (c) 25 ms

Abbildung 8 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten

(a) Schwellwert = 20 (b) Schwellwert = 40 (c) Schwellwert = 100

Abbildung 9 Sobelbilder nach Schwellwertfunktion

Mittels dem bdquomaster gainldquo Kameraparameter kann der Kontrast eines Bildes erhoumlht werdenAuf diese Weise kann Robustheit fuumlr die Spurerkennung geschafft werden weil dann die

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

10

Spurmarkierung von der Fahrbahn besser zu unterscheiden ist Somit kann das Intervall indem ein geeigneter Schwellwert fuumlr die Kantenfilterung liegt vergroumlszligert werden (vgl Abbil-dung 10) Ein hoher master gain kann jedoch zu verrauschte Bilder fuumlhren

(a) Originalbild (b) Sobelbild (Schwellwert = 50) (c) Sobelbild (Schwellwert = 150)

Abbildung 10 Kontrastverstaumlrkung

Zur Optimierung der Spurerkennung kann die Kamera UI-1226LE-M auch eine Kantenver-staumlrkung leisten Das koumlnnte aber gleichzeitig die Wirkung von unguumlnstigen Lichtverhaumlltnis-sen verstaumlrken (vgl Abbildung 11)

(a) Originalbild (b) Sobelbild (Schwellwert = 50)

Abbildung 11 Kantenverstaumlrkung

32 Schwellwertselektion

Aus Kapitel 31 folgt dass der bestgeeignete Schwellwert fuumlr die Kantendetektion von Be-lichtung des Bildes abhaumlngig ist Somit ist es vorteilhafter dieser Schwellwert automatischbezuumlglich Bildbelichtung zu ermitteln Im (Hamadani 1981) wurde die Methode bdquoThresholdSelection Using Mean and Standard Deviationldquo vorgestellt Diese Methode berechnet einengeeigneten Schwellwert τ mittels der arithmetischen Mittel micro und der Standartabweichungσ eines Bildes a mit der Groumlszlige mtimesn

τ = k1micro + k2σ (1)

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

11

wobei die Konstanten k1 und k2 von Bildtyp abhaumlngen und

micro =1

mn

m

sumi=1

n

sumj=1

a(i j) (2)

σ =

radic1

mn

m

sumi=1

n

sumj=1

(a(i j)minusmicro)2 (3)

Fuumlr typische niedriger Aufloumlsung Bilder k1 = k2 = 1 scheint ziemlich gut zu funktionierenFuumlr houmlhere Aufloumlsung sollten k1 = 1 oder k1 = 15 und k2 = 2 bessere Ergebnisse erzielen

33 Belichtungsregelung

Eines der Hauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belich-tung Zu diesem Zweck sind in fast alle modernen digitalen Kameras Shuttersysteme zurautomatischen Belichtungsregelung integriert Jedoch bleiben noch Beschraumlnkungen Nor-malerweise sind solche Techniken in Bezug auf den spezifischen Inhalt der Szene voumllligblind Zum Beispiel eine Schnee-Szene oder eine schwarze Lokomotive mit einem Schutter-system zu fotografieren ist sehr schwierig

In der Bildverarbeitung wird der Maszlig Lichtwert LW verwendet um die Beziehung zwi-schen dem Blendenzahl K und der Belichtungszeit T vorzugeben (Lukac 2006)

LW = log2

(K2

T

)= 2log2(K)minus log2(T ) (4)

Der Lichtwert wird kleiner wenn die Belichtungszeit steigt und er wird groumlszliger wenn die Blen-denzahl waumlchst Die meisten Algorithmen zur Belichtungsregelung arbeiten auf die folgendeWeise

1 Ein Bild wird mit einem vorher bestimmten Lichtwert LWvor aufgenommen

2 Die RGB-Werte werden zur Helligkeit B umgewandelt

3 Ein Wert Bvor (Standartabweichung Median o a) wird vom Helligkeitsbild berechnet

4 Beruhend auf die Linearitaumltsannahme und Gleichung 4 der optimalen Lichtwert LWoptsollte eine bessere Belichtung erzielen Das mit diesem LWopt aufgenommene Bildsollte eine Zahl in der Naumlhe von einem vorherbestimmten idealen Wert Bopt ergebenDaraus folgt

LWopt = LWpre + log2(Bvor)minus log2(Bopt) (5)

Der ideale Wert Bopt wird meistens empirisch ermittelt Verschiedene Algorithmen unter-scheiden sich hauptsaumlchlich darin wie Bvor aus dem Bild abgeleitet wird

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

INHALTSVERZEICHNIS 1

Inhaltsverzeichnis

1 Einfuumlhrung 211 Motivation 212 Problemstellung 213 Das Fahrzeug Onyx 3

2 Das Verfahren zur Fahrbahnverfolgung 521 Die Kamera 522 Der Spurerkennungsalgorithmus Polaris 623 Die Steuerungssoftware 7

3 Adaptive Kameraparametrierung zur optimalen Fahrspurerkennung 831 Kameraparameter 932 Schwellwertselektion 1033 Belichtungsregelung 1134 Belichtungsregelung mittels Merkmalsextraktionstechniken 12

4 Zusammenfassung und Ausblick auf Projekt 1 12

1 EINFUumlHRUNG 2

1 Einfuumlhrung

Das FAUST-Projekt ist eines der studentischen departementuumlbergreifenden Projekte an derHochschule fuumlr Angewandte Wissenschaften Hamburg In diesem Rahmen werden Tech-nologien fuumlr Fahrerassistenz- und Autonome Systeme entwickelt und entworfen AutonomesFahren wurde auf Autobahnen und Landstraszligen seit Anfang der neunziger Jahre in verschie-denen Projekten erforscht Der Erfolg autonomer Fahrroboter hat gezeigt dass automati-sches Fahren bereits moumlglich ist (Thrun 2006) (Volkswagen 2006) Am Markt verfuumlgbareFahrerassistenzsysteme greifen bereits heute aktiv in die Fahrzeuglaumlngs- und Querfuumlhrungein Fuumlr die Zukunft ist der Automatisierung in der Fahrzeugfuumlhrung von der reinen Assistenzhin zu automatischen Fahrfunktionen denkbar (Weiser u a 2009) Zudem werden aktuellim FAUST Projekt kamerabasierte Systeme zur Fahrspurerkennung fuumlr die Navigation vonautonomen Fahrzeugen entwickelt (Kant 2007) (Berger 2008) (Jenning 2009)

11 Motivation

Der Hochschulwettbewerb Carolo-Cup einer der Schwerpunkte innerhalb des ProjektesFAUST bietet Studententeams die Moumlglichkeit sich mit der Entwicklung und Umsetzung vonautonomen Modellfahrzeugen auseinander zu setzen Die Fahrzeuge basieren auf vierraumld-rigen 110-Modellen Die Wahl der Sensoren bleibt jedem Team selbst uumlberlassen BeimWettbewerb muumlssen bestimmte Fahraufgaben autonom moumlglichst schnell und fehlerfrei be-waumlltigt werden und die erarbeiteten Konzepte in Praumlsentationen erlaumlutert werden

12 Problemstellung

Laut (Carolo-Cup 2010) soll das Fahrzeug bei der dynamischen Disziplin Rundstrecke auto-nom drei Minuten lang auf einem unbekannten Rundkurs so weit wie moumlglich fahren Bei derStraszlige handelt es sich um die Nachbildung einer Landstraszlige (vgl Abbildung 1) bestehendaus langen Geraden schnellen Kurven engen Serpentinen und Kreuzungen Die Straszligeist konstant 820 mm breit und an den Raumlndern mit durchgezogenen Linien abgegrenzt Diezwei Fahrspuren werden durch eine gestrichelte Mittellinie geteilt Das Verlassen der eige-nen Fahrspur mit mehr als einem Rad wird bestraft Alle Linien sind weiszlig und 20 mm breitDie Mittellinie ist alle 200 mm durch eine 200mm Luumlcke unterbrochen Die engste Kurve hateinen Innenradius von 1000 mm Die komplette Rundstrecke befindet sich in der Ebene EineRunde ist max 200 m lang Alle drei Linien koumlnnen in allen Durchlaumlufen an beliebiger Stelleauf einer Laumlnge von bis zu 1m unterbrochen werden Auszliger an Kreuzungen fehlen jedochan jeder Stelle des Rundkurses nur maximal zwei Linien zeitgleich

1 EINFUumlHRUNG 3

Abbildung 1 Straszligenausschnitt

13 Das Fahrzeug Onyx

Zur Teilnahme am Carolo Cup 2009 wurde an der HAW Hamburg das Fahrzeug Onyx ent-wickelt Dieses Fahrzeug basiert auf einem Ford F-350 Pickup-Modell im Maszligstab 110Als Steuerungselektronik werden drei ARM 7 Prozessoren mit entsprechenden IO-Plattinenfuumlr die Sensordatenverarbeitung verwendet Die eigentliche Rechenleistung stellt ein AcerAspire One Subnotebook zur Verfuumlgung welches mit einem Intel Atom Prozessor mit 16GHz ausgestattet ist Die Kamera und die ARM-Prozessoren sind jeweils uumlber USB mit demNotebook verbunden Auf dem Acer Aspire One Subnotebook ist ein Linux Betriebssystemeingerichtet Das Steuerungsprogramm ist komplett objektorientiert (C++) und besitzt einWeb-Interface fuumlr bequemes Konfigurieren und Debuggen (sog FAUSTcore)

1 EINFUumlHRUNG 4

Abbildung 2 Das Fahrzeug Onyx

Die Auswahl von Sensoren wurde anhand der Erfahrungen aus dem Carolo-Cup 2008 undden dort zu bewaumlltigenden Aufgaben getroffen (Hensel 2008) Zur Umfelderfassung verfuumlgtdas Fahrzeug uumlber die folgenden Sensoren

bull Inkrementalgeber an Vorderraumldern

bull je zwei Ultraschallsensoren nach vorne und hinten

bull je zwei Infrarotsensoren nach rechts und links

bull Kompass

bull Beschleunigungssensor

bull optische Hinderniserkennung

bull Kamera

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 5

2 Das Verfahren zur Fahrbahnverfolgung

Der funktionale Systemaufbau der am Carolo-Cup 2010 eingesetzten Spurfuumlhrung ist in Ab-bildung 3 dargestellt Hardware und Software Komponenten sind in grau bzw weiszlig abgebil-det

Abbildung 3 Systemaufbau der Spurfuumlhrung

Ziel dieses Systems ist im 25 Millisekundentakt den Lenkwinkel neu zu berechnen damit dasFahrzeug schnell auf Aumlnderungen der aktuellen Fahrspurgeometrie reagieren kann Zu die-sem Zweck soll die Kamera mindestens 40 Bilder pro Sekunde liefern Der Spurerkennungs-algorithmus verarbeitet diese Bilder um die Fahrspurgeometrie zu bestimmen Zur Steuerungder Aktorik werden dann Lenkwinkel und Geschwindigkeit berechnet

21 Die Kamera

Abbildung 4 Monochrom-USB-Kamera UI-1226LE-M

Das Fahrzeug Onyx verfuumlgt uumlber eine Monochrom-USB-Kamera UI-1226LE-M aus der Ueye-Serie der Firma IDS-Imaging Die UI-1226LE-M ist eine aumluszligerst kompakte Ein-Platinen-

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 6

Kamera mit modernem Aptina CMOS-Sensor in Wide VGA-Aufloumlsung (752x480 Pixel) Die-se Kamera kann bis zu 87 Bilder pro Sekunde liefern und die Belichtungszeit kann bis auf80 micros reduziert werden so dass auch fuumlr bewegliche Objekte ausreichend scharfe Fo-tos entstehen Durch Verwendung der weit verbreiteten USB 20-Technologie ist die An-bindung an verschiedenste Systeme problemlos moumlglich Die UI-1226LE besitzt einen S-Mount-Objektivhalter mit M12-Gewinde und integriertem Filterglas Um die Integration zuerleichtern sind die Programmiersprachen C C++ Microsoft NET und Visual Basic unter-stuumltzt

22 Der Spurerkennungsalgorithmus Polaris

(a) Original Kamerabild (b) Erkennung von Fahrspurpunkte

Abbildung 5 Fahrspurerkennung mittels Polaris

Der Spurerkennungsalgorithmus Polaris (Jenning 2009) hat die Aufgabe die entstandenenBilder zu bearbeiten und die Fahrspurgeometrie zu bestimmen Da Bildverarbeitung in derRegel sehr aufwendig ist werden nur ein paar Betrachtungsbereiche pro Fahrspurmarkie-rung ausgewertet (vgl Abbildung 5b) Im Englischen wird der Betrachtungsbereich als Re-gion Of Interest(ROI) bezeichnet Um die Kanten zu detektieren wird jeder Betrachtungsbe-reich des Bildes mit dem horizontalen Sobel-Operator gefiltert Nach der Faltung mit demSobel-Operator wird eine Schwellwert-Funktion zur Erkennung die groumlszligten Kanten ange-wendet Anschlieszligend wird maximal ein Fahrspurmarkierungspunkt pro Betrachtungsbereichextrahiert Weiterhin werden diese Bildpunkte durch eine projektive Transformation in dasFahrzeugkoordinatensystem uumlbertragen Hier liegt das Massezentrum des Fahrzeugs starrim Koordinatenursprung und das Koordinatensystem wird mit dem Fahrzeug bewegt ZurApproximation der Fahrspurmarkierungen werden Polynome 2 oder 3 Grades verwendetUm die Parameter des Polynoms zu approximieren wird die Methode der kleinsten Quadrate

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 7

angewendet Auf diese Weise liefert der Algorithmus Polaris zwei Polynome die die zwei zurFahrspur gehoumlrigen Fahrbahnmarkierungen im Fahrzeugkoordinatensystem beschreiben

23 Die Steuerungssoftware

Ziel der Steuerungssoftware ist bezuumlglich dieser Polynomen Lenkwinkel und Geschwindig-keit fuumlr die Aktorik zu ermitteln Anhand der Parameter des Polynoms kann festgelegt werdenob eine Kurvenfahrt vorsteht Falls noumltig wird dann die Geschwindigkeit reduziert

Abbildung 6 Bestimmung des Zieles

Weiterhin soll die Steuerungssoftware den Lenkwinkel festlegen und die Fahrrichtung desFahrzeuges korrigieren Das Verfahren beruht teilweise auf dem Verhaltensmuster des Men-schen beim Fahren Der Fahrer fokussiert sein Blickfeld in einer gewissen Entfernung vordem Fahrzeug und dreht das Lenkrad relativ zu der Fahrspur Analog dazu lokalisiert dasVerfahren (Nikolov 2009) kontinuierlich ein Ziel dass das Fahrzeug verfolgen soll DiesesZiel sollte im Idealfall in der Mitte der Fahrspur liegen (vgl Abbildung 6) Um die die Fahr-spurmitte zu bestimmen wird die Tangente eines Polynoms gebildet Die Entfernung zwi-schen Fahrzeug und Ziel ist fuumlr Praumlzision und Stabilitaumlt der Fahrbahnverfolgung entschei-dend Um eine praumlzise Fahrt zu erreichen muss das Ziel nah am Fahrzeug liegen damit dieFahrspurgeometrie optimaler beruumlcksichtigt wird Das wiederum beeintraumlchtigt die Stabili-taumlt so erheblich dass houmlhere Geschwindigkeiten nicht erreichbar sind weil die Verzoumlgerungdes Lenkungssystems ausschlaggebende Schwingungen beim Fahren verursacht Um dieseSchwingungen zu reduzieren sollte die Entfernung erhoumlht werden Auf diese Weise wird ei-ne Stabilitaumlt erreicht die die Fahrbahnverfolgung bei houmlheren Geschwindigkeiten ermoumlglichtDas verschlechtert gleichzeitig aber die Praumlzision der Fahrt und ab einer bestimmten Entfer-nung kann der Algorithmus nicht mehr gewaumlhrleisten dass das Fahrzeug dauerhaft auf derzu verfolgenden Fahrbahn bleibt Da sowohl Praumlzision als auch Stabilitaumlt sehr wichtig sind

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

8

muss eine passende Entfernung hinsichtlich der gestellten Anforderungen bestimmt werdenDie bestgeeignete Zielentfernung ist bezuumlglich des minimalen Kurvenradius empirisch ermit-telt worden weil die Fahrt in den engsten Kurven der Strecke am meisten Praumlzision fordert

Abbildung 7 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo

Als naumlchstes soll der Lenkwinkel in Bezug auf das Ziel bestimmt werden Hier kommt dergeometrische Algorithmus bdquoPure Pursuitldquo (Coulter 1992) zum Einsatz Dieser Algorithmusbasiert auf die Kruumlmmung des Kreisbogens der Fahrzeug und Ziel verbindet Diese Kruumlm-mung dient als Fuumlhrungsgroumlszlige fuumlr die Steuerung der Lenkaktorik Das Fahrzeug reagiertkontinuierlich mit einer Kurvenfahrt dieser Kruumlmmung um das Ziel zu erreichen (vgl Abbil-dung 7) Somit entsteht eine stabilere Fahrt weil die Kruumlmmung im Verlauf einer Streckezum groszligen Teil konstant ist

3 Adaptive Kameraparametrierung zur optimalen Fahrspu-rerkennung

Im Kapitel 2 beschriebene Verfahren zur Fahrbahnverfolgung bestimmt die Fahrspurgeo-metrie indem der Spurerkennungsalgorithmus Polaris Kamerabilder auswertet Bevor eineFahrbahnverfolgung realisiert werden kann muumlssen passende zu Lichtverhaumlltnissen Kame-raparameter empirisch ermittelt werden Waumlhrend einer Fahrt wird die Kamera mit den ent-sprechenden Parameter gesteuert um Bilder zu produzieren Wenn aber die Fahrstreckenicht gleichmaumlszligig belichtet ist treten Probleme auf weil manche Bilder unter- oder uumlberbe-lichtet werden Weiterhin soll der Schwellwert fuumlr die Spurerkennung festgelegt werden Der

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

9

bestgeeigneter Schwellwert ist von Kantenfilterung und Belichtung des Bildes abhaumlngig Ausdiesem Grund ist eine Adaptive Kameraparametrierung in Echtzeit nuumltzlich

31 Kameraparameter

Belichtungszeit ist die Dauer fuumlr die sich der Verschluss der Kamera oumlffnet und das Aufnah-mematerial dem durch das Objektiv projizierten Bild aussetzt Wenn das Aufnahmelicht sehrhell ist oder um Bewegung zu stoppen soll die Belichtungszeit verkuumlrzt werden Lange Be-lichtungszeit ist vorteilhaft wenn das Aufnahmelicht schwach ist Damit das Fahrzeug schnellauf Aumlnderungen der Spurgeometrie reagiert soll die Kamera mindestens 40 Bilder pro Se-kunde aufnehmen Dadurch ist die Belichtungszeit auf 25 ms begrenzt Damit ausreichendscharfe Bilder auch bei houmlheren Geschwindigkeiten entstehen soll die Belichtungszeit nochreduziert werden In Abbildung 8 sind Kamerabilder mit unterschiedlichen Belichtungszei-ten dargestellt Die entsprechenden mit horizontalem Sobel-Operator gefilterten Bilder wer-den mit unterschiedlichen Schwellwerten verarbeitet weil der bestgeeignete Schwellwert zurKantenextraktion mit der Belichtung des Bildes gebunden ist (vgl Abbildung 9)

(a) 1 ms (b) 10 ms (c) 25 ms

Abbildung 8 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten

(a) Schwellwert = 20 (b) Schwellwert = 40 (c) Schwellwert = 100

Abbildung 9 Sobelbilder nach Schwellwertfunktion

Mittels dem bdquomaster gainldquo Kameraparameter kann der Kontrast eines Bildes erhoumlht werdenAuf diese Weise kann Robustheit fuumlr die Spurerkennung geschafft werden weil dann die

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

10

Spurmarkierung von der Fahrbahn besser zu unterscheiden ist Somit kann das Intervall indem ein geeigneter Schwellwert fuumlr die Kantenfilterung liegt vergroumlszligert werden (vgl Abbil-dung 10) Ein hoher master gain kann jedoch zu verrauschte Bilder fuumlhren

(a) Originalbild (b) Sobelbild (Schwellwert = 50) (c) Sobelbild (Schwellwert = 150)

Abbildung 10 Kontrastverstaumlrkung

Zur Optimierung der Spurerkennung kann die Kamera UI-1226LE-M auch eine Kantenver-staumlrkung leisten Das koumlnnte aber gleichzeitig die Wirkung von unguumlnstigen Lichtverhaumlltnis-sen verstaumlrken (vgl Abbildung 11)

(a) Originalbild (b) Sobelbild (Schwellwert = 50)

Abbildung 11 Kantenverstaumlrkung

32 Schwellwertselektion

Aus Kapitel 31 folgt dass der bestgeeignete Schwellwert fuumlr die Kantendetektion von Be-lichtung des Bildes abhaumlngig ist Somit ist es vorteilhafter dieser Schwellwert automatischbezuumlglich Bildbelichtung zu ermitteln Im (Hamadani 1981) wurde die Methode bdquoThresholdSelection Using Mean and Standard Deviationldquo vorgestellt Diese Methode berechnet einengeeigneten Schwellwert τ mittels der arithmetischen Mittel micro und der Standartabweichungσ eines Bildes a mit der Groumlszlige mtimesn

τ = k1micro + k2σ (1)

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

11

wobei die Konstanten k1 und k2 von Bildtyp abhaumlngen und

micro =1

mn

m

sumi=1

n

sumj=1

a(i j) (2)

σ =

radic1

mn

m

sumi=1

n

sumj=1

(a(i j)minusmicro)2 (3)

Fuumlr typische niedriger Aufloumlsung Bilder k1 = k2 = 1 scheint ziemlich gut zu funktionierenFuumlr houmlhere Aufloumlsung sollten k1 = 1 oder k1 = 15 und k2 = 2 bessere Ergebnisse erzielen

33 Belichtungsregelung

Eines der Hauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belich-tung Zu diesem Zweck sind in fast alle modernen digitalen Kameras Shuttersysteme zurautomatischen Belichtungsregelung integriert Jedoch bleiben noch Beschraumlnkungen Nor-malerweise sind solche Techniken in Bezug auf den spezifischen Inhalt der Szene voumllligblind Zum Beispiel eine Schnee-Szene oder eine schwarze Lokomotive mit einem Schutter-system zu fotografieren ist sehr schwierig

In der Bildverarbeitung wird der Maszlig Lichtwert LW verwendet um die Beziehung zwi-schen dem Blendenzahl K und der Belichtungszeit T vorzugeben (Lukac 2006)

LW = log2

(K2

T

)= 2log2(K)minus log2(T ) (4)

Der Lichtwert wird kleiner wenn die Belichtungszeit steigt und er wird groumlszliger wenn die Blen-denzahl waumlchst Die meisten Algorithmen zur Belichtungsregelung arbeiten auf die folgendeWeise

1 Ein Bild wird mit einem vorher bestimmten Lichtwert LWvor aufgenommen

2 Die RGB-Werte werden zur Helligkeit B umgewandelt

3 Ein Wert Bvor (Standartabweichung Median o a) wird vom Helligkeitsbild berechnet

4 Beruhend auf die Linearitaumltsannahme und Gleichung 4 der optimalen Lichtwert LWoptsollte eine bessere Belichtung erzielen Das mit diesem LWopt aufgenommene Bildsollte eine Zahl in der Naumlhe von einem vorherbestimmten idealen Wert Bopt ergebenDaraus folgt

LWopt = LWpre + log2(Bvor)minus log2(Bopt) (5)

Der ideale Wert Bopt wird meistens empirisch ermittelt Verschiedene Algorithmen unter-scheiden sich hauptsaumlchlich darin wie Bvor aus dem Bild abgeleitet wird

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

1 EINFUumlHRUNG 2

1 Einfuumlhrung

Das FAUST-Projekt ist eines der studentischen departementuumlbergreifenden Projekte an derHochschule fuumlr Angewandte Wissenschaften Hamburg In diesem Rahmen werden Tech-nologien fuumlr Fahrerassistenz- und Autonome Systeme entwickelt und entworfen AutonomesFahren wurde auf Autobahnen und Landstraszligen seit Anfang der neunziger Jahre in verschie-denen Projekten erforscht Der Erfolg autonomer Fahrroboter hat gezeigt dass automati-sches Fahren bereits moumlglich ist (Thrun 2006) (Volkswagen 2006) Am Markt verfuumlgbareFahrerassistenzsysteme greifen bereits heute aktiv in die Fahrzeuglaumlngs- und Querfuumlhrungein Fuumlr die Zukunft ist der Automatisierung in der Fahrzeugfuumlhrung von der reinen Assistenzhin zu automatischen Fahrfunktionen denkbar (Weiser u a 2009) Zudem werden aktuellim FAUST Projekt kamerabasierte Systeme zur Fahrspurerkennung fuumlr die Navigation vonautonomen Fahrzeugen entwickelt (Kant 2007) (Berger 2008) (Jenning 2009)

11 Motivation

Der Hochschulwettbewerb Carolo-Cup einer der Schwerpunkte innerhalb des ProjektesFAUST bietet Studententeams die Moumlglichkeit sich mit der Entwicklung und Umsetzung vonautonomen Modellfahrzeugen auseinander zu setzen Die Fahrzeuge basieren auf vierraumld-rigen 110-Modellen Die Wahl der Sensoren bleibt jedem Team selbst uumlberlassen BeimWettbewerb muumlssen bestimmte Fahraufgaben autonom moumlglichst schnell und fehlerfrei be-waumlltigt werden und die erarbeiteten Konzepte in Praumlsentationen erlaumlutert werden

12 Problemstellung

Laut (Carolo-Cup 2010) soll das Fahrzeug bei der dynamischen Disziplin Rundstrecke auto-nom drei Minuten lang auf einem unbekannten Rundkurs so weit wie moumlglich fahren Bei derStraszlige handelt es sich um die Nachbildung einer Landstraszlige (vgl Abbildung 1) bestehendaus langen Geraden schnellen Kurven engen Serpentinen und Kreuzungen Die Straszligeist konstant 820 mm breit und an den Raumlndern mit durchgezogenen Linien abgegrenzt Diezwei Fahrspuren werden durch eine gestrichelte Mittellinie geteilt Das Verlassen der eige-nen Fahrspur mit mehr als einem Rad wird bestraft Alle Linien sind weiszlig und 20 mm breitDie Mittellinie ist alle 200 mm durch eine 200mm Luumlcke unterbrochen Die engste Kurve hateinen Innenradius von 1000 mm Die komplette Rundstrecke befindet sich in der Ebene EineRunde ist max 200 m lang Alle drei Linien koumlnnen in allen Durchlaumlufen an beliebiger Stelleauf einer Laumlnge von bis zu 1m unterbrochen werden Auszliger an Kreuzungen fehlen jedochan jeder Stelle des Rundkurses nur maximal zwei Linien zeitgleich

1 EINFUumlHRUNG 3

Abbildung 1 Straszligenausschnitt

13 Das Fahrzeug Onyx

Zur Teilnahme am Carolo Cup 2009 wurde an der HAW Hamburg das Fahrzeug Onyx ent-wickelt Dieses Fahrzeug basiert auf einem Ford F-350 Pickup-Modell im Maszligstab 110Als Steuerungselektronik werden drei ARM 7 Prozessoren mit entsprechenden IO-Plattinenfuumlr die Sensordatenverarbeitung verwendet Die eigentliche Rechenleistung stellt ein AcerAspire One Subnotebook zur Verfuumlgung welches mit einem Intel Atom Prozessor mit 16GHz ausgestattet ist Die Kamera und die ARM-Prozessoren sind jeweils uumlber USB mit demNotebook verbunden Auf dem Acer Aspire One Subnotebook ist ein Linux Betriebssystemeingerichtet Das Steuerungsprogramm ist komplett objektorientiert (C++) und besitzt einWeb-Interface fuumlr bequemes Konfigurieren und Debuggen (sog FAUSTcore)

1 EINFUumlHRUNG 4

Abbildung 2 Das Fahrzeug Onyx

Die Auswahl von Sensoren wurde anhand der Erfahrungen aus dem Carolo-Cup 2008 undden dort zu bewaumlltigenden Aufgaben getroffen (Hensel 2008) Zur Umfelderfassung verfuumlgtdas Fahrzeug uumlber die folgenden Sensoren

bull Inkrementalgeber an Vorderraumldern

bull je zwei Ultraschallsensoren nach vorne und hinten

bull je zwei Infrarotsensoren nach rechts und links

bull Kompass

bull Beschleunigungssensor

bull optische Hinderniserkennung

bull Kamera

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 5

2 Das Verfahren zur Fahrbahnverfolgung

Der funktionale Systemaufbau der am Carolo-Cup 2010 eingesetzten Spurfuumlhrung ist in Ab-bildung 3 dargestellt Hardware und Software Komponenten sind in grau bzw weiszlig abgebil-det

Abbildung 3 Systemaufbau der Spurfuumlhrung

Ziel dieses Systems ist im 25 Millisekundentakt den Lenkwinkel neu zu berechnen damit dasFahrzeug schnell auf Aumlnderungen der aktuellen Fahrspurgeometrie reagieren kann Zu die-sem Zweck soll die Kamera mindestens 40 Bilder pro Sekunde liefern Der Spurerkennungs-algorithmus verarbeitet diese Bilder um die Fahrspurgeometrie zu bestimmen Zur Steuerungder Aktorik werden dann Lenkwinkel und Geschwindigkeit berechnet

21 Die Kamera

Abbildung 4 Monochrom-USB-Kamera UI-1226LE-M

Das Fahrzeug Onyx verfuumlgt uumlber eine Monochrom-USB-Kamera UI-1226LE-M aus der Ueye-Serie der Firma IDS-Imaging Die UI-1226LE-M ist eine aumluszligerst kompakte Ein-Platinen-

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 6

Kamera mit modernem Aptina CMOS-Sensor in Wide VGA-Aufloumlsung (752x480 Pixel) Die-se Kamera kann bis zu 87 Bilder pro Sekunde liefern und die Belichtungszeit kann bis auf80 micros reduziert werden so dass auch fuumlr bewegliche Objekte ausreichend scharfe Fo-tos entstehen Durch Verwendung der weit verbreiteten USB 20-Technologie ist die An-bindung an verschiedenste Systeme problemlos moumlglich Die UI-1226LE besitzt einen S-Mount-Objektivhalter mit M12-Gewinde und integriertem Filterglas Um die Integration zuerleichtern sind die Programmiersprachen C C++ Microsoft NET und Visual Basic unter-stuumltzt

22 Der Spurerkennungsalgorithmus Polaris

(a) Original Kamerabild (b) Erkennung von Fahrspurpunkte

Abbildung 5 Fahrspurerkennung mittels Polaris

Der Spurerkennungsalgorithmus Polaris (Jenning 2009) hat die Aufgabe die entstandenenBilder zu bearbeiten und die Fahrspurgeometrie zu bestimmen Da Bildverarbeitung in derRegel sehr aufwendig ist werden nur ein paar Betrachtungsbereiche pro Fahrspurmarkie-rung ausgewertet (vgl Abbildung 5b) Im Englischen wird der Betrachtungsbereich als Re-gion Of Interest(ROI) bezeichnet Um die Kanten zu detektieren wird jeder Betrachtungsbe-reich des Bildes mit dem horizontalen Sobel-Operator gefiltert Nach der Faltung mit demSobel-Operator wird eine Schwellwert-Funktion zur Erkennung die groumlszligten Kanten ange-wendet Anschlieszligend wird maximal ein Fahrspurmarkierungspunkt pro Betrachtungsbereichextrahiert Weiterhin werden diese Bildpunkte durch eine projektive Transformation in dasFahrzeugkoordinatensystem uumlbertragen Hier liegt das Massezentrum des Fahrzeugs starrim Koordinatenursprung und das Koordinatensystem wird mit dem Fahrzeug bewegt ZurApproximation der Fahrspurmarkierungen werden Polynome 2 oder 3 Grades verwendetUm die Parameter des Polynoms zu approximieren wird die Methode der kleinsten Quadrate

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 7

angewendet Auf diese Weise liefert der Algorithmus Polaris zwei Polynome die die zwei zurFahrspur gehoumlrigen Fahrbahnmarkierungen im Fahrzeugkoordinatensystem beschreiben

23 Die Steuerungssoftware

Ziel der Steuerungssoftware ist bezuumlglich dieser Polynomen Lenkwinkel und Geschwindig-keit fuumlr die Aktorik zu ermitteln Anhand der Parameter des Polynoms kann festgelegt werdenob eine Kurvenfahrt vorsteht Falls noumltig wird dann die Geschwindigkeit reduziert

Abbildung 6 Bestimmung des Zieles

Weiterhin soll die Steuerungssoftware den Lenkwinkel festlegen und die Fahrrichtung desFahrzeuges korrigieren Das Verfahren beruht teilweise auf dem Verhaltensmuster des Men-schen beim Fahren Der Fahrer fokussiert sein Blickfeld in einer gewissen Entfernung vordem Fahrzeug und dreht das Lenkrad relativ zu der Fahrspur Analog dazu lokalisiert dasVerfahren (Nikolov 2009) kontinuierlich ein Ziel dass das Fahrzeug verfolgen soll DiesesZiel sollte im Idealfall in der Mitte der Fahrspur liegen (vgl Abbildung 6) Um die die Fahr-spurmitte zu bestimmen wird die Tangente eines Polynoms gebildet Die Entfernung zwi-schen Fahrzeug und Ziel ist fuumlr Praumlzision und Stabilitaumlt der Fahrbahnverfolgung entschei-dend Um eine praumlzise Fahrt zu erreichen muss das Ziel nah am Fahrzeug liegen damit dieFahrspurgeometrie optimaler beruumlcksichtigt wird Das wiederum beeintraumlchtigt die Stabili-taumlt so erheblich dass houmlhere Geschwindigkeiten nicht erreichbar sind weil die Verzoumlgerungdes Lenkungssystems ausschlaggebende Schwingungen beim Fahren verursacht Um dieseSchwingungen zu reduzieren sollte die Entfernung erhoumlht werden Auf diese Weise wird ei-ne Stabilitaumlt erreicht die die Fahrbahnverfolgung bei houmlheren Geschwindigkeiten ermoumlglichtDas verschlechtert gleichzeitig aber die Praumlzision der Fahrt und ab einer bestimmten Entfer-nung kann der Algorithmus nicht mehr gewaumlhrleisten dass das Fahrzeug dauerhaft auf derzu verfolgenden Fahrbahn bleibt Da sowohl Praumlzision als auch Stabilitaumlt sehr wichtig sind

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

8

muss eine passende Entfernung hinsichtlich der gestellten Anforderungen bestimmt werdenDie bestgeeignete Zielentfernung ist bezuumlglich des minimalen Kurvenradius empirisch ermit-telt worden weil die Fahrt in den engsten Kurven der Strecke am meisten Praumlzision fordert

Abbildung 7 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo

Als naumlchstes soll der Lenkwinkel in Bezug auf das Ziel bestimmt werden Hier kommt dergeometrische Algorithmus bdquoPure Pursuitldquo (Coulter 1992) zum Einsatz Dieser Algorithmusbasiert auf die Kruumlmmung des Kreisbogens der Fahrzeug und Ziel verbindet Diese Kruumlm-mung dient als Fuumlhrungsgroumlszlige fuumlr die Steuerung der Lenkaktorik Das Fahrzeug reagiertkontinuierlich mit einer Kurvenfahrt dieser Kruumlmmung um das Ziel zu erreichen (vgl Abbil-dung 7) Somit entsteht eine stabilere Fahrt weil die Kruumlmmung im Verlauf einer Streckezum groszligen Teil konstant ist

3 Adaptive Kameraparametrierung zur optimalen Fahrspu-rerkennung

Im Kapitel 2 beschriebene Verfahren zur Fahrbahnverfolgung bestimmt die Fahrspurgeo-metrie indem der Spurerkennungsalgorithmus Polaris Kamerabilder auswertet Bevor eineFahrbahnverfolgung realisiert werden kann muumlssen passende zu Lichtverhaumlltnissen Kame-raparameter empirisch ermittelt werden Waumlhrend einer Fahrt wird die Kamera mit den ent-sprechenden Parameter gesteuert um Bilder zu produzieren Wenn aber die Fahrstreckenicht gleichmaumlszligig belichtet ist treten Probleme auf weil manche Bilder unter- oder uumlberbe-lichtet werden Weiterhin soll der Schwellwert fuumlr die Spurerkennung festgelegt werden Der

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

9

bestgeeigneter Schwellwert ist von Kantenfilterung und Belichtung des Bildes abhaumlngig Ausdiesem Grund ist eine Adaptive Kameraparametrierung in Echtzeit nuumltzlich

31 Kameraparameter

Belichtungszeit ist die Dauer fuumlr die sich der Verschluss der Kamera oumlffnet und das Aufnah-mematerial dem durch das Objektiv projizierten Bild aussetzt Wenn das Aufnahmelicht sehrhell ist oder um Bewegung zu stoppen soll die Belichtungszeit verkuumlrzt werden Lange Be-lichtungszeit ist vorteilhaft wenn das Aufnahmelicht schwach ist Damit das Fahrzeug schnellauf Aumlnderungen der Spurgeometrie reagiert soll die Kamera mindestens 40 Bilder pro Se-kunde aufnehmen Dadurch ist die Belichtungszeit auf 25 ms begrenzt Damit ausreichendscharfe Bilder auch bei houmlheren Geschwindigkeiten entstehen soll die Belichtungszeit nochreduziert werden In Abbildung 8 sind Kamerabilder mit unterschiedlichen Belichtungszei-ten dargestellt Die entsprechenden mit horizontalem Sobel-Operator gefilterten Bilder wer-den mit unterschiedlichen Schwellwerten verarbeitet weil der bestgeeignete Schwellwert zurKantenextraktion mit der Belichtung des Bildes gebunden ist (vgl Abbildung 9)

(a) 1 ms (b) 10 ms (c) 25 ms

Abbildung 8 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten

(a) Schwellwert = 20 (b) Schwellwert = 40 (c) Schwellwert = 100

Abbildung 9 Sobelbilder nach Schwellwertfunktion

Mittels dem bdquomaster gainldquo Kameraparameter kann der Kontrast eines Bildes erhoumlht werdenAuf diese Weise kann Robustheit fuumlr die Spurerkennung geschafft werden weil dann die

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

10

Spurmarkierung von der Fahrbahn besser zu unterscheiden ist Somit kann das Intervall indem ein geeigneter Schwellwert fuumlr die Kantenfilterung liegt vergroumlszligert werden (vgl Abbil-dung 10) Ein hoher master gain kann jedoch zu verrauschte Bilder fuumlhren

(a) Originalbild (b) Sobelbild (Schwellwert = 50) (c) Sobelbild (Schwellwert = 150)

Abbildung 10 Kontrastverstaumlrkung

Zur Optimierung der Spurerkennung kann die Kamera UI-1226LE-M auch eine Kantenver-staumlrkung leisten Das koumlnnte aber gleichzeitig die Wirkung von unguumlnstigen Lichtverhaumlltnis-sen verstaumlrken (vgl Abbildung 11)

(a) Originalbild (b) Sobelbild (Schwellwert = 50)

Abbildung 11 Kantenverstaumlrkung

32 Schwellwertselektion

Aus Kapitel 31 folgt dass der bestgeeignete Schwellwert fuumlr die Kantendetektion von Be-lichtung des Bildes abhaumlngig ist Somit ist es vorteilhafter dieser Schwellwert automatischbezuumlglich Bildbelichtung zu ermitteln Im (Hamadani 1981) wurde die Methode bdquoThresholdSelection Using Mean and Standard Deviationldquo vorgestellt Diese Methode berechnet einengeeigneten Schwellwert τ mittels der arithmetischen Mittel micro und der Standartabweichungσ eines Bildes a mit der Groumlszlige mtimesn

τ = k1micro + k2σ (1)

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

11

wobei die Konstanten k1 und k2 von Bildtyp abhaumlngen und

micro =1

mn

m

sumi=1

n

sumj=1

a(i j) (2)

σ =

radic1

mn

m

sumi=1

n

sumj=1

(a(i j)minusmicro)2 (3)

Fuumlr typische niedriger Aufloumlsung Bilder k1 = k2 = 1 scheint ziemlich gut zu funktionierenFuumlr houmlhere Aufloumlsung sollten k1 = 1 oder k1 = 15 und k2 = 2 bessere Ergebnisse erzielen

33 Belichtungsregelung

Eines der Hauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belich-tung Zu diesem Zweck sind in fast alle modernen digitalen Kameras Shuttersysteme zurautomatischen Belichtungsregelung integriert Jedoch bleiben noch Beschraumlnkungen Nor-malerweise sind solche Techniken in Bezug auf den spezifischen Inhalt der Szene voumllligblind Zum Beispiel eine Schnee-Szene oder eine schwarze Lokomotive mit einem Schutter-system zu fotografieren ist sehr schwierig

In der Bildverarbeitung wird der Maszlig Lichtwert LW verwendet um die Beziehung zwi-schen dem Blendenzahl K und der Belichtungszeit T vorzugeben (Lukac 2006)

LW = log2

(K2

T

)= 2log2(K)minus log2(T ) (4)

Der Lichtwert wird kleiner wenn die Belichtungszeit steigt und er wird groumlszliger wenn die Blen-denzahl waumlchst Die meisten Algorithmen zur Belichtungsregelung arbeiten auf die folgendeWeise

1 Ein Bild wird mit einem vorher bestimmten Lichtwert LWvor aufgenommen

2 Die RGB-Werte werden zur Helligkeit B umgewandelt

3 Ein Wert Bvor (Standartabweichung Median o a) wird vom Helligkeitsbild berechnet

4 Beruhend auf die Linearitaumltsannahme und Gleichung 4 der optimalen Lichtwert LWoptsollte eine bessere Belichtung erzielen Das mit diesem LWopt aufgenommene Bildsollte eine Zahl in der Naumlhe von einem vorherbestimmten idealen Wert Bopt ergebenDaraus folgt

LWopt = LWpre + log2(Bvor)minus log2(Bopt) (5)

Der ideale Wert Bopt wird meistens empirisch ermittelt Verschiedene Algorithmen unter-scheiden sich hauptsaumlchlich darin wie Bvor aus dem Bild abgeleitet wird

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

1 EINFUumlHRUNG 3

Abbildung 1 Straszligenausschnitt

13 Das Fahrzeug Onyx

Zur Teilnahme am Carolo Cup 2009 wurde an der HAW Hamburg das Fahrzeug Onyx ent-wickelt Dieses Fahrzeug basiert auf einem Ford F-350 Pickup-Modell im Maszligstab 110Als Steuerungselektronik werden drei ARM 7 Prozessoren mit entsprechenden IO-Plattinenfuumlr die Sensordatenverarbeitung verwendet Die eigentliche Rechenleistung stellt ein AcerAspire One Subnotebook zur Verfuumlgung welches mit einem Intel Atom Prozessor mit 16GHz ausgestattet ist Die Kamera und die ARM-Prozessoren sind jeweils uumlber USB mit demNotebook verbunden Auf dem Acer Aspire One Subnotebook ist ein Linux Betriebssystemeingerichtet Das Steuerungsprogramm ist komplett objektorientiert (C++) und besitzt einWeb-Interface fuumlr bequemes Konfigurieren und Debuggen (sog FAUSTcore)

1 EINFUumlHRUNG 4

Abbildung 2 Das Fahrzeug Onyx

Die Auswahl von Sensoren wurde anhand der Erfahrungen aus dem Carolo-Cup 2008 undden dort zu bewaumlltigenden Aufgaben getroffen (Hensel 2008) Zur Umfelderfassung verfuumlgtdas Fahrzeug uumlber die folgenden Sensoren

bull Inkrementalgeber an Vorderraumldern

bull je zwei Ultraschallsensoren nach vorne und hinten

bull je zwei Infrarotsensoren nach rechts und links

bull Kompass

bull Beschleunigungssensor

bull optische Hinderniserkennung

bull Kamera

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 5

2 Das Verfahren zur Fahrbahnverfolgung

Der funktionale Systemaufbau der am Carolo-Cup 2010 eingesetzten Spurfuumlhrung ist in Ab-bildung 3 dargestellt Hardware und Software Komponenten sind in grau bzw weiszlig abgebil-det

Abbildung 3 Systemaufbau der Spurfuumlhrung

Ziel dieses Systems ist im 25 Millisekundentakt den Lenkwinkel neu zu berechnen damit dasFahrzeug schnell auf Aumlnderungen der aktuellen Fahrspurgeometrie reagieren kann Zu die-sem Zweck soll die Kamera mindestens 40 Bilder pro Sekunde liefern Der Spurerkennungs-algorithmus verarbeitet diese Bilder um die Fahrspurgeometrie zu bestimmen Zur Steuerungder Aktorik werden dann Lenkwinkel und Geschwindigkeit berechnet

21 Die Kamera

Abbildung 4 Monochrom-USB-Kamera UI-1226LE-M

Das Fahrzeug Onyx verfuumlgt uumlber eine Monochrom-USB-Kamera UI-1226LE-M aus der Ueye-Serie der Firma IDS-Imaging Die UI-1226LE-M ist eine aumluszligerst kompakte Ein-Platinen-

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 6

Kamera mit modernem Aptina CMOS-Sensor in Wide VGA-Aufloumlsung (752x480 Pixel) Die-se Kamera kann bis zu 87 Bilder pro Sekunde liefern und die Belichtungszeit kann bis auf80 micros reduziert werden so dass auch fuumlr bewegliche Objekte ausreichend scharfe Fo-tos entstehen Durch Verwendung der weit verbreiteten USB 20-Technologie ist die An-bindung an verschiedenste Systeme problemlos moumlglich Die UI-1226LE besitzt einen S-Mount-Objektivhalter mit M12-Gewinde und integriertem Filterglas Um die Integration zuerleichtern sind die Programmiersprachen C C++ Microsoft NET und Visual Basic unter-stuumltzt

22 Der Spurerkennungsalgorithmus Polaris

(a) Original Kamerabild (b) Erkennung von Fahrspurpunkte

Abbildung 5 Fahrspurerkennung mittels Polaris

Der Spurerkennungsalgorithmus Polaris (Jenning 2009) hat die Aufgabe die entstandenenBilder zu bearbeiten und die Fahrspurgeometrie zu bestimmen Da Bildverarbeitung in derRegel sehr aufwendig ist werden nur ein paar Betrachtungsbereiche pro Fahrspurmarkie-rung ausgewertet (vgl Abbildung 5b) Im Englischen wird der Betrachtungsbereich als Re-gion Of Interest(ROI) bezeichnet Um die Kanten zu detektieren wird jeder Betrachtungsbe-reich des Bildes mit dem horizontalen Sobel-Operator gefiltert Nach der Faltung mit demSobel-Operator wird eine Schwellwert-Funktion zur Erkennung die groumlszligten Kanten ange-wendet Anschlieszligend wird maximal ein Fahrspurmarkierungspunkt pro Betrachtungsbereichextrahiert Weiterhin werden diese Bildpunkte durch eine projektive Transformation in dasFahrzeugkoordinatensystem uumlbertragen Hier liegt das Massezentrum des Fahrzeugs starrim Koordinatenursprung und das Koordinatensystem wird mit dem Fahrzeug bewegt ZurApproximation der Fahrspurmarkierungen werden Polynome 2 oder 3 Grades verwendetUm die Parameter des Polynoms zu approximieren wird die Methode der kleinsten Quadrate

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 7

angewendet Auf diese Weise liefert der Algorithmus Polaris zwei Polynome die die zwei zurFahrspur gehoumlrigen Fahrbahnmarkierungen im Fahrzeugkoordinatensystem beschreiben

23 Die Steuerungssoftware

Ziel der Steuerungssoftware ist bezuumlglich dieser Polynomen Lenkwinkel und Geschwindig-keit fuumlr die Aktorik zu ermitteln Anhand der Parameter des Polynoms kann festgelegt werdenob eine Kurvenfahrt vorsteht Falls noumltig wird dann die Geschwindigkeit reduziert

Abbildung 6 Bestimmung des Zieles

Weiterhin soll die Steuerungssoftware den Lenkwinkel festlegen und die Fahrrichtung desFahrzeuges korrigieren Das Verfahren beruht teilweise auf dem Verhaltensmuster des Men-schen beim Fahren Der Fahrer fokussiert sein Blickfeld in einer gewissen Entfernung vordem Fahrzeug und dreht das Lenkrad relativ zu der Fahrspur Analog dazu lokalisiert dasVerfahren (Nikolov 2009) kontinuierlich ein Ziel dass das Fahrzeug verfolgen soll DiesesZiel sollte im Idealfall in der Mitte der Fahrspur liegen (vgl Abbildung 6) Um die die Fahr-spurmitte zu bestimmen wird die Tangente eines Polynoms gebildet Die Entfernung zwi-schen Fahrzeug und Ziel ist fuumlr Praumlzision und Stabilitaumlt der Fahrbahnverfolgung entschei-dend Um eine praumlzise Fahrt zu erreichen muss das Ziel nah am Fahrzeug liegen damit dieFahrspurgeometrie optimaler beruumlcksichtigt wird Das wiederum beeintraumlchtigt die Stabili-taumlt so erheblich dass houmlhere Geschwindigkeiten nicht erreichbar sind weil die Verzoumlgerungdes Lenkungssystems ausschlaggebende Schwingungen beim Fahren verursacht Um dieseSchwingungen zu reduzieren sollte die Entfernung erhoumlht werden Auf diese Weise wird ei-ne Stabilitaumlt erreicht die die Fahrbahnverfolgung bei houmlheren Geschwindigkeiten ermoumlglichtDas verschlechtert gleichzeitig aber die Praumlzision der Fahrt und ab einer bestimmten Entfer-nung kann der Algorithmus nicht mehr gewaumlhrleisten dass das Fahrzeug dauerhaft auf derzu verfolgenden Fahrbahn bleibt Da sowohl Praumlzision als auch Stabilitaumlt sehr wichtig sind

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

8

muss eine passende Entfernung hinsichtlich der gestellten Anforderungen bestimmt werdenDie bestgeeignete Zielentfernung ist bezuumlglich des minimalen Kurvenradius empirisch ermit-telt worden weil die Fahrt in den engsten Kurven der Strecke am meisten Praumlzision fordert

Abbildung 7 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo

Als naumlchstes soll der Lenkwinkel in Bezug auf das Ziel bestimmt werden Hier kommt dergeometrische Algorithmus bdquoPure Pursuitldquo (Coulter 1992) zum Einsatz Dieser Algorithmusbasiert auf die Kruumlmmung des Kreisbogens der Fahrzeug und Ziel verbindet Diese Kruumlm-mung dient als Fuumlhrungsgroumlszlige fuumlr die Steuerung der Lenkaktorik Das Fahrzeug reagiertkontinuierlich mit einer Kurvenfahrt dieser Kruumlmmung um das Ziel zu erreichen (vgl Abbil-dung 7) Somit entsteht eine stabilere Fahrt weil die Kruumlmmung im Verlauf einer Streckezum groszligen Teil konstant ist

3 Adaptive Kameraparametrierung zur optimalen Fahrspu-rerkennung

Im Kapitel 2 beschriebene Verfahren zur Fahrbahnverfolgung bestimmt die Fahrspurgeo-metrie indem der Spurerkennungsalgorithmus Polaris Kamerabilder auswertet Bevor eineFahrbahnverfolgung realisiert werden kann muumlssen passende zu Lichtverhaumlltnissen Kame-raparameter empirisch ermittelt werden Waumlhrend einer Fahrt wird die Kamera mit den ent-sprechenden Parameter gesteuert um Bilder zu produzieren Wenn aber die Fahrstreckenicht gleichmaumlszligig belichtet ist treten Probleme auf weil manche Bilder unter- oder uumlberbe-lichtet werden Weiterhin soll der Schwellwert fuumlr die Spurerkennung festgelegt werden Der

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

9

bestgeeigneter Schwellwert ist von Kantenfilterung und Belichtung des Bildes abhaumlngig Ausdiesem Grund ist eine Adaptive Kameraparametrierung in Echtzeit nuumltzlich

31 Kameraparameter

Belichtungszeit ist die Dauer fuumlr die sich der Verschluss der Kamera oumlffnet und das Aufnah-mematerial dem durch das Objektiv projizierten Bild aussetzt Wenn das Aufnahmelicht sehrhell ist oder um Bewegung zu stoppen soll die Belichtungszeit verkuumlrzt werden Lange Be-lichtungszeit ist vorteilhaft wenn das Aufnahmelicht schwach ist Damit das Fahrzeug schnellauf Aumlnderungen der Spurgeometrie reagiert soll die Kamera mindestens 40 Bilder pro Se-kunde aufnehmen Dadurch ist die Belichtungszeit auf 25 ms begrenzt Damit ausreichendscharfe Bilder auch bei houmlheren Geschwindigkeiten entstehen soll die Belichtungszeit nochreduziert werden In Abbildung 8 sind Kamerabilder mit unterschiedlichen Belichtungszei-ten dargestellt Die entsprechenden mit horizontalem Sobel-Operator gefilterten Bilder wer-den mit unterschiedlichen Schwellwerten verarbeitet weil der bestgeeignete Schwellwert zurKantenextraktion mit der Belichtung des Bildes gebunden ist (vgl Abbildung 9)

(a) 1 ms (b) 10 ms (c) 25 ms

Abbildung 8 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten

(a) Schwellwert = 20 (b) Schwellwert = 40 (c) Schwellwert = 100

Abbildung 9 Sobelbilder nach Schwellwertfunktion

Mittels dem bdquomaster gainldquo Kameraparameter kann der Kontrast eines Bildes erhoumlht werdenAuf diese Weise kann Robustheit fuumlr die Spurerkennung geschafft werden weil dann die

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

10

Spurmarkierung von der Fahrbahn besser zu unterscheiden ist Somit kann das Intervall indem ein geeigneter Schwellwert fuumlr die Kantenfilterung liegt vergroumlszligert werden (vgl Abbil-dung 10) Ein hoher master gain kann jedoch zu verrauschte Bilder fuumlhren

(a) Originalbild (b) Sobelbild (Schwellwert = 50) (c) Sobelbild (Schwellwert = 150)

Abbildung 10 Kontrastverstaumlrkung

Zur Optimierung der Spurerkennung kann die Kamera UI-1226LE-M auch eine Kantenver-staumlrkung leisten Das koumlnnte aber gleichzeitig die Wirkung von unguumlnstigen Lichtverhaumlltnis-sen verstaumlrken (vgl Abbildung 11)

(a) Originalbild (b) Sobelbild (Schwellwert = 50)

Abbildung 11 Kantenverstaumlrkung

32 Schwellwertselektion

Aus Kapitel 31 folgt dass der bestgeeignete Schwellwert fuumlr die Kantendetektion von Be-lichtung des Bildes abhaumlngig ist Somit ist es vorteilhafter dieser Schwellwert automatischbezuumlglich Bildbelichtung zu ermitteln Im (Hamadani 1981) wurde die Methode bdquoThresholdSelection Using Mean and Standard Deviationldquo vorgestellt Diese Methode berechnet einengeeigneten Schwellwert τ mittels der arithmetischen Mittel micro und der Standartabweichungσ eines Bildes a mit der Groumlszlige mtimesn

τ = k1micro + k2σ (1)

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

11

wobei die Konstanten k1 und k2 von Bildtyp abhaumlngen und

micro =1

mn

m

sumi=1

n

sumj=1

a(i j) (2)

σ =

radic1

mn

m

sumi=1

n

sumj=1

(a(i j)minusmicro)2 (3)

Fuumlr typische niedriger Aufloumlsung Bilder k1 = k2 = 1 scheint ziemlich gut zu funktionierenFuumlr houmlhere Aufloumlsung sollten k1 = 1 oder k1 = 15 und k2 = 2 bessere Ergebnisse erzielen

33 Belichtungsregelung

Eines der Hauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belich-tung Zu diesem Zweck sind in fast alle modernen digitalen Kameras Shuttersysteme zurautomatischen Belichtungsregelung integriert Jedoch bleiben noch Beschraumlnkungen Nor-malerweise sind solche Techniken in Bezug auf den spezifischen Inhalt der Szene voumllligblind Zum Beispiel eine Schnee-Szene oder eine schwarze Lokomotive mit einem Schutter-system zu fotografieren ist sehr schwierig

In der Bildverarbeitung wird der Maszlig Lichtwert LW verwendet um die Beziehung zwi-schen dem Blendenzahl K und der Belichtungszeit T vorzugeben (Lukac 2006)

LW = log2

(K2

T

)= 2log2(K)minus log2(T ) (4)

Der Lichtwert wird kleiner wenn die Belichtungszeit steigt und er wird groumlszliger wenn die Blen-denzahl waumlchst Die meisten Algorithmen zur Belichtungsregelung arbeiten auf die folgendeWeise

1 Ein Bild wird mit einem vorher bestimmten Lichtwert LWvor aufgenommen

2 Die RGB-Werte werden zur Helligkeit B umgewandelt

3 Ein Wert Bvor (Standartabweichung Median o a) wird vom Helligkeitsbild berechnet

4 Beruhend auf die Linearitaumltsannahme und Gleichung 4 der optimalen Lichtwert LWoptsollte eine bessere Belichtung erzielen Das mit diesem LWopt aufgenommene Bildsollte eine Zahl in der Naumlhe von einem vorherbestimmten idealen Wert Bopt ergebenDaraus folgt

LWopt = LWpre + log2(Bvor)minus log2(Bopt) (5)

Der ideale Wert Bopt wird meistens empirisch ermittelt Verschiedene Algorithmen unter-scheiden sich hauptsaumlchlich darin wie Bvor aus dem Bild abgeleitet wird

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

1 EINFUumlHRUNG 4

Abbildung 2 Das Fahrzeug Onyx

Die Auswahl von Sensoren wurde anhand der Erfahrungen aus dem Carolo-Cup 2008 undden dort zu bewaumlltigenden Aufgaben getroffen (Hensel 2008) Zur Umfelderfassung verfuumlgtdas Fahrzeug uumlber die folgenden Sensoren

bull Inkrementalgeber an Vorderraumldern

bull je zwei Ultraschallsensoren nach vorne und hinten

bull je zwei Infrarotsensoren nach rechts und links

bull Kompass

bull Beschleunigungssensor

bull optische Hinderniserkennung

bull Kamera

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 5

2 Das Verfahren zur Fahrbahnverfolgung

Der funktionale Systemaufbau der am Carolo-Cup 2010 eingesetzten Spurfuumlhrung ist in Ab-bildung 3 dargestellt Hardware und Software Komponenten sind in grau bzw weiszlig abgebil-det

Abbildung 3 Systemaufbau der Spurfuumlhrung

Ziel dieses Systems ist im 25 Millisekundentakt den Lenkwinkel neu zu berechnen damit dasFahrzeug schnell auf Aumlnderungen der aktuellen Fahrspurgeometrie reagieren kann Zu die-sem Zweck soll die Kamera mindestens 40 Bilder pro Sekunde liefern Der Spurerkennungs-algorithmus verarbeitet diese Bilder um die Fahrspurgeometrie zu bestimmen Zur Steuerungder Aktorik werden dann Lenkwinkel und Geschwindigkeit berechnet

21 Die Kamera

Abbildung 4 Monochrom-USB-Kamera UI-1226LE-M

Das Fahrzeug Onyx verfuumlgt uumlber eine Monochrom-USB-Kamera UI-1226LE-M aus der Ueye-Serie der Firma IDS-Imaging Die UI-1226LE-M ist eine aumluszligerst kompakte Ein-Platinen-

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 6

Kamera mit modernem Aptina CMOS-Sensor in Wide VGA-Aufloumlsung (752x480 Pixel) Die-se Kamera kann bis zu 87 Bilder pro Sekunde liefern und die Belichtungszeit kann bis auf80 micros reduziert werden so dass auch fuumlr bewegliche Objekte ausreichend scharfe Fo-tos entstehen Durch Verwendung der weit verbreiteten USB 20-Technologie ist die An-bindung an verschiedenste Systeme problemlos moumlglich Die UI-1226LE besitzt einen S-Mount-Objektivhalter mit M12-Gewinde und integriertem Filterglas Um die Integration zuerleichtern sind die Programmiersprachen C C++ Microsoft NET und Visual Basic unter-stuumltzt

22 Der Spurerkennungsalgorithmus Polaris

(a) Original Kamerabild (b) Erkennung von Fahrspurpunkte

Abbildung 5 Fahrspurerkennung mittels Polaris

Der Spurerkennungsalgorithmus Polaris (Jenning 2009) hat die Aufgabe die entstandenenBilder zu bearbeiten und die Fahrspurgeometrie zu bestimmen Da Bildverarbeitung in derRegel sehr aufwendig ist werden nur ein paar Betrachtungsbereiche pro Fahrspurmarkie-rung ausgewertet (vgl Abbildung 5b) Im Englischen wird der Betrachtungsbereich als Re-gion Of Interest(ROI) bezeichnet Um die Kanten zu detektieren wird jeder Betrachtungsbe-reich des Bildes mit dem horizontalen Sobel-Operator gefiltert Nach der Faltung mit demSobel-Operator wird eine Schwellwert-Funktion zur Erkennung die groumlszligten Kanten ange-wendet Anschlieszligend wird maximal ein Fahrspurmarkierungspunkt pro Betrachtungsbereichextrahiert Weiterhin werden diese Bildpunkte durch eine projektive Transformation in dasFahrzeugkoordinatensystem uumlbertragen Hier liegt das Massezentrum des Fahrzeugs starrim Koordinatenursprung und das Koordinatensystem wird mit dem Fahrzeug bewegt ZurApproximation der Fahrspurmarkierungen werden Polynome 2 oder 3 Grades verwendetUm die Parameter des Polynoms zu approximieren wird die Methode der kleinsten Quadrate

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 7

angewendet Auf diese Weise liefert der Algorithmus Polaris zwei Polynome die die zwei zurFahrspur gehoumlrigen Fahrbahnmarkierungen im Fahrzeugkoordinatensystem beschreiben

23 Die Steuerungssoftware

Ziel der Steuerungssoftware ist bezuumlglich dieser Polynomen Lenkwinkel und Geschwindig-keit fuumlr die Aktorik zu ermitteln Anhand der Parameter des Polynoms kann festgelegt werdenob eine Kurvenfahrt vorsteht Falls noumltig wird dann die Geschwindigkeit reduziert

Abbildung 6 Bestimmung des Zieles

Weiterhin soll die Steuerungssoftware den Lenkwinkel festlegen und die Fahrrichtung desFahrzeuges korrigieren Das Verfahren beruht teilweise auf dem Verhaltensmuster des Men-schen beim Fahren Der Fahrer fokussiert sein Blickfeld in einer gewissen Entfernung vordem Fahrzeug und dreht das Lenkrad relativ zu der Fahrspur Analog dazu lokalisiert dasVerfahren (Nikolov 2009) kontinuierlich ein Ziel dass das Fahrzeug verfolgen soll DiesesZiel sollte im Idealfall in der Mitte der Fahrspur liegen (vgl Abbildung 6) Um die die Fahr-spurmitte zu bestimmen wird die Tangente eines Polynoms gebildet Die Entfernung zwi-schen Fahrzeug und Ziel ist fuumlr Praumlzision und Stabilitaumlt der Fahrbahnverfolgung entschei-dend Um eine praumlzise Fahrt zu erreichen muss das Ziel nah am Fahrzeug liegen damit dieFahrspurgeometrie optimaler beruumlcksichtigt wird Das wiederum beeintraumlchtigt die Stabili-taumlt so erheblich dass houmlhere Geschwindigkeiten nicht erreichbar sind weil die Verzoumlgerungdes Lenkungssystems ausschlaggebende Schwingungen beim Fahren verursacht Um dieseSchwingungen zu reduzieren sollte die Entfernung erhoumlht werden Auf diese Weise wird ei-ne Stabilitaumlt erreicht die die Fahrbahnverfolgung bei houmlheren Geschwindigkeiten ermoumlglichtDas verschlechtert gleichzeitig aber die Praumlzision der Fahrt und ab einer bestimmten Entfer-nung kann der Algorithmus nicht mehr gewaumlhrleisten dass das Fahrzeug dauerhaft auf derzu verfolgenden Fahrbahn bleibt Da sowohl Praumlzision als auch Stabilitaumlt sehr wichtig sind

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

8

muss eine passende Entfernung hinsichtlich der gestellten Anforderungen bestimmt werdenDie bestgeeignete Zielentfernung ist bezuumlglich des minimalen Kurvenradius empirisch ermit-telt worden weil die Fahrt in den engsten Kurven der Strecke am meisten Praumlzision fordert

Abbildung 7 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo

Als naumlchstes soll der Lenkwinkel in Bezug auf das Ziel bestimmt werden Hier kommt dergeometrische Algorithmus bdquoPure Pursuitldquo (Coulter 1992) zum Einsatz Dieser Algorithmusbasiert auf die Kruumlmmung des Kreisbogens der Fahrzeug und Ziel verbindet Diese Kruumlm-mung dient als Fuumlhrungsgroumlszlige fuumlr die Steuerung der Lenkaktorik Das Fahrzeug reagiertkontinuierlich mit einer Kurvenfahrt dieser Kruumlmmung um das Ziel zu erreichen (vgl Abbil-dung 7) Somit entsteht eine stabilere Fahrt weil die Kruumlmmung im Verlauf einer Streckezum groszligen Teil konstant ist

3 Adaptive Kameraparametrierung zur optimalen Fahrspu-rerkennung

Im Kapitel 2 beschriebene Verfahren zur Fahrbahnverfolgung bestimmt die Fahrspurgeo-metrie indem der Spurerkennungsalgorithmus Polaris Kamerabilder auswertet Bevor eineFahrbahnverfolgung realisiert werden kann muumlssen passende zu Lichtverhaumlltnissen Kame-raparameter empirisch ermittelt werden Waumlhrend einer Fahrt wird die Kamera mit den ent-sprechenden Parameter gesteuert um Bilder zu produzieren Wenn aber die Fahrstreckenicht gleichmaumlszligig belichtet ist treten Probleme auf weil manche Bilder unter- oder uumlberbe-lichtet werden Weiterhin soll der Schwellwert fuumlr die Spurerkennung festgelegt werden Der

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

9

bestgeeigneter Schwellwert ist von Kantenfilterung und Belichtung des Bildes abhaumlngig Ausdiesem Grund ist eine Adaptive Kameraparametrierung in Echtzeit nuumltzlich

31 Kameraparameter

Belichtungszeit ist die Dauer fuumlr die sich der Verschluss der Kamera oumlffnet und das Aufnah-mematerial dem durch das Objektiv projizierten Bild aussetzt Wenn das Aufnahmelicht sehrhell ist oder um Bewegung zu stoppen soll die Belichtungszeit verkuumlrzt werden Lange Be-lichtungszeit ist vorteilhaft wenn das Aufnahmelicht schwach ist Damit das Fahrzeug schnellauf Aumlnderungen der Spurgeometrie reagiert soll die Kamera mindestens 40 Bilder pro Se-kunde aufnehmen Dadurch ist die Belichtungszeit auf 25 ms begrenzt Damit ausreichendscharfe Bilder auch bei houmlheren Geschwindigkeiten entstehen soll die Belichtungszeit nochreduziert werden In Abbildung 8 sind Kamerabilder mit unterschiedlichen Belichtungszei-ten dargestellt Die entsprechenden mit horizontalem Sobel-Operator gefilterten Bilder wer-den mit unterschiedlichen Schwellwerten verarbeitet weil der bestgeeignete Schwellwert zurKantenextraktion mit der Belichtung des Bildes gebunden ist (vgl Abbildung 9)

(a) 1 ms (b) 10 ms (c) 25 ms

Abbildung 8 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten

(a) Schwellwert = 20 (b) Schwellwert = 40 (c) Schwellwert = 100

Abbildung 9 Sobelbilder nach Schwellwertfunktion

Mittels dem bdquomaster gainldquo Kameraparameter kann der Kontrast eines Bildes erhoumlht werdenAuf diese Weise kann Robustheit fuumlr die Spurerkennung geschafft werden weil dann die

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

10

Spurmarkierung von der Fahrbahn besser zu unterscheiden ist Somit kann das Intervall indem ein geeigneter Schwellwert fuumlr die Kantenfilterung liegt vergroumlszligert werden (vgl Abbil-dung 10) Ein hoher master gain kann jedoch zu verrauschte Bilder fuumlhren

(a) Originalbild (b) Sobelbild (Schwellwert = 50) (c) Sobelbild (Schwellwert = 150)

Abbildung 10 Kontrastverstaumlrkung

Zur Optimierung der Spurerkennung kann die Kamera UI-1226LE-M auch eine Kantenver-staumlrkung leisten Das koumlnnte aber gleichzeitig die Wirkung von unguumlnstigen Lichtverhaumlltnis-sen verstaumlrken (vgl Abbildung 11)

(a) Originalbild (b) Sobelbild (Schwellwert = 50)

Abbildung 11 Kantenverstaumlrkung

32 Schwellwertselektion

Aus Kapitel 31 folgt dass der bestgeeignete Schwellwert fuumlr die Kantendetektion von Be-lichtung des Bildes abhaumlngig ist Somit ist es vorteilhafter dieser Schwellwert automatischbezuumlglich Bildbelichtung zu ermitteln Im (Hamadani 1981) wurde die Methode bdquoThresholdSelection Using Mean and Standard Deviationldquo vorgestellt Diese Methode berechnet einengeeigneten Schwellwert τ mittels der arithmetischen Mittel micro und der Standartabweichungσ eines Bildes a mit der Groumlszlige mtimesn

τ = k1micro + k2σ (1)

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

11

wobei die Konstanten k1 und k2 von Bildtyp abhaumlngen und

micro =1

mn

m

sumi=1

n

sumj=1

a(i j) (2)

σ =

radic1

mn

m

sumi=1

n

sumj=1

(a(i j)minusmicro)2 (3)

Fuumlr typische niedriger Aufloumlsung Bilder k1 = k2 = 1 scheint ziemlich gut zu funktionierenFuumlr houmlhere Aufloumlsung sollten k1 = 1 oder k1 = 15 und k2 = 2 bessere Ergebnisse erzielen

33 Belichtungsregelung

Eines der Hauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belich-tung Zu diesem Zweck sind in fast alle modernen digitalen Kameras Shuttersysteme zurautomatischen Belichtungsregelung integriert Jedoch bleiben noch Beschraumlnkungen Nor-malerweise sind solche Techniken in Bezug auf den spezifischen Inhalt der Szene voumllligblind Zum Beispiel eine Schnee-Szene oder eine schwarze Lokomotive mit einem Schutter-system zu fotografieren ist sehr schwierig

In der Bildverarbeitung wird der Maszlig Lichtwert LW verwendet um die Beziehung zwi-schen dem Blendenzahl K und der Belichtungszeit T vorzugeben (Lukac 2006)

LW = log2

(K2

T

)= 2log2(K)minus log2(T ) (4)

Der Lichtwert wird kleiner wenn die Belichtungszeit steigt und er wird groumlszliger wenn die Blen-denzahl waumlchst Die meisten Algorithmen zur Belichtungsregelung arbeiten auf die folgendeWeise

1 Ein Bild wird mit einem vorher bestimmten Lichtwert LWvor aufgenommen

2 Die RGB-Werte werden zur Helligkeit B umgewandelt

3 Ein Wert Bvor (Standartabweichung Median o a) wird vom Helligkeitsbild berechnet

4 Beruhend auf die Linearitaumltsannahme und Gleichung 4 der optimalen Lichtwert LWoptsollte eine bessere Belichtung erzielen Das mit diesem LWopt aufgenommene Bildsollte eine Zahl in der Naumlhe von einem vorherbestimmten idealen Wert Bopt ergebenDaraus folgt

LWopt = LWpre + log2(Bvor)minus log2(Bopt) (5)

Der ideale Wert Bopt wird meistens empirisch ermittelt Verschiedene Algorithmen unter-scheiden sich hauptsaumlchlich darin wie Bvor aus dem Bild abgeleitet wird

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 5

2 Das Verfahren zur Fahrbahnverfolgung

Der funktionale Systemaufbau der am Carolo-Cup 2010 eingesetzten Spurfuumlhrung ist in Ab-bildung 3 dargestellt Hardware und Software Komponenten sind in grau bzw weiszlig abgebil-det

Abbildung 3 Systemaufbau der Spurfuumlhrung

Ziel dieses Systems ist im 25 Millisekundentakt den Lenkwinkel neu zu berechnen damit dasFahrzeug schnell auf Aumlnderungen der aktuellen Fahrspurgeometrie reagieren kann Zu die-sem Zweck soll die Kamera mindestens 40 Bilder pro Sekunde liefern Der Spurerkennungs-algorithmus verarbeitet diese Bilder um die Fahrspurgeometrie zu bestimmen Zur Steuerungder Aktorik werden dann Lenkwinkel und Geschwindigkeit berechnet

21 Die Kamera

Abbildung 4 Monochrom-USB-Kamera UI-1226LE-M

Das Fahrzeug Onyx verfuumlgt uumlber eine Monochrom-USB-Kamera UI-1226LE-M aus der Ueye-Serie der Firma IDS-Imaging Die UI-1226LE-M ist eine aumluszligerst kompakte Ein-Platinen-

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 6

Kamera mit modernem Aptina CMOS-Sensor in Wide VGA-Aufloumlsung (752x480 Pixel) Die-se Kamera kann bis zu 87 Bilder pro Sekunde liefern und die Belichtungszeit kann bis auf80 micros reduziert werden so dass auch fuumlr bewegliche Objekte ausreichend scharfe Fo-tos entstehen Durch Verwendung der weit verbreiteten USB 20-Technologie ist die An-bindung an verschiedenste Systeme problemlos moumlglich Die UI-1226LE besitzt einen S-Mount-Objektivhalter mit M12-Gewinde und integriertem Filterglas Um die Integration zuerleichtern sind die Programmiersprachen C C++ Microsoft NET und Visual Basic unter-stuumltzt

22 Der Spurerkennungsalgorithmus Polaris

(a) Original Kamerabild (b) Erkennung von Fahrspurpunkte

Abbildung 5 Fahrspurerkennung mittels Polaris

Der Spurerkennungsalgorithmus Polaris (Jenning 2009) hat die Aufgabe die entstandenenBilder zu bearbeiten und die Fahrspurgeometrie zu bestimmen Da Bildverarbeitung in derRegel sehr aufwendig ist werden nur ein paar Betrachtungsbereiche pro Fahrspurmarkie-rung ausgewertet (vgl Abbildung 5b) Im Englischen wird der Betrachtungsbereich als Re-gion Of Interest(ROI) bezeichnet Um die Kanten zu detektieren wird jeder Betrachtungsbe-reich des Bildes mit dem horizontalen Sobel-Operator gefiltert Nach der Faltung mit demSobel-Operator wird eine Schwellwert-Funktion zur Erkennung die groumlszligten Kanten ange-wendet Anschlieszligend wird maximal ein Fahrspurmarkierungspunkt pro Betrachtungsbereichextrahiert Weiterhin werden diese Bildpunkte durch eine projektive Transformation in dasFahrzeugkoordinatensystem uumlbertragen Hier liegt das Massezentrum des Fahrzeugs starrim Koordinatenursprung und das Koordinatensystem wird mit dem Fahrzeug bewegt ZurApproximation der Fahrspurmarkierungen werden Polynome 2 oder 3 Grades verwendetUm die Parameter des Polynoms zu approximieren wird die Methode der kleinsten Quadrate

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 7

angewendet Auf diese Weise liefert der Algorithmus Polaris zwei Polynome die die zwei zurFahrspur gehoumlrigen Fahrbahnmarkierungen im Fahrzeugkoordinatensystem beschreiben

23 Die Steuerungssoftware

Ziel der Steuerungssoftware ist bezuumlglich dieser Polynomen Lenkwinkel und Geschwindig-keit fuumlr die Aktorik zu ermitteln Anhand der Parameter des Polynoms kann festgelegt werdenob eine Kurvenfahrt vorsteht Falls noumltig wird dann die Geschwindigkeit reduziert

Abbildung 6 Bestimmung des Zieles

Weiterhin soll die Steuerungssoftware den Lenkwinkel festlegen und die Fahrrichtung desFahrzeuges korrigieren Das Verfahren beruht teilweise auf dem Verhaltensmuster des Men-schen beim Fahren Der Fahrer fokussiert sein Blickfeld in einer gewissen Entfernung vordem Fahrzeug und dreht das Lenkrad relativ zu der Fahrspur Analog dazu lokalisiert dasVerfahren (Nikolov 2009) kontinuierlich ein Ziel dass das Fahrzeug verfolgen soll DiesesZiel sollte im Idealfall in der Mitte der Fahrspur liegen (vgl Abbildung 6) Um die die Fahr-spurmitte zu bestimmen wird die Tangente eines Polynoms gebildet Die Entfernung zwi-schen Fahrzeug und Ziel ist fuumlr Praumlzision und Stabilitaumlt der Fahrbahnverfolgung entschei-dend Um eine praumlzise Fahrt zu erreichen muss das Ziel nah am Fahrzeug liegen damit dieFahrspurgeometrie optimaler beruumlcksichtigt wird Das wiederum beeintraumlchtigt die Stabili-taumlt so erheblich dass houmlhere Geschwindigkeiten nicht erreichbar sind weil die Verzoumlgerungdes Lenkungssystems ausschlaggebende Schwingungen beim Fahren verursacht Um dieseSchwingungen zu reduzieren sollte die Entfernung erhoumlht werden Auf diese Weise wird ei-ne Stabilitaumlt erreicht die die Fahrbahnverfolgung bei houmlheren Geschwindigkeiten ermoumlglichtDas verschlechtert gleichzeitig aber die Praumlzision der Fahrt und ab einer bestimmten Entfer-nung kann der Algorithmus nicht mehr gewaumlhrleisten dass das Fahrzeug dauerhaft auf derzu verfolgenden Fahrbahn bleibt Da sowohl Praumlzision als auch Stabilitaumlt sehr wichtig sind

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

8

muss eine passende Entfernung hinsichtlich der gestellten Anforderungen bestimmt werdenDie bestgeeignete Zielentfernung ist bezuumlglich des minimalen Kurvenradius empirisch ermit-telt worden weil die Fahrt in den engsten Kurven der Strecke am meisten Praumlzision fordert

Abbildung 7 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo

Als naumlchstes soll der Lenkwinkel in Bezug auf das Ziel bestimmt werden Hier kommt dergeometrische Algorithmus bdquoPure Pursuitldquo (Coulter 1992) zum Einsatz Dieser Algorithmusbasiert auf die Kruumlmmung des Kreisbogens der Fahrzeug und Ziel verbindet Diese Kruumlm-mung dient als Fuumlhrungsgroumlszlige fuumlr die Steuerung der Lenkaktorik Das Fahrzeug reagiertkontinuierlich mit einer Kurvenfahrt dieser Kruumlmmung um das Ziel zu erreichen (vgl Abbil-dung 7) Somit entsteht eine stabilere Fahrt weil die Kruumlmmung im Verlauf einer Streckezum groszligen Teil konstant ist

3 Adaptive Kameraparametrierung zur optimalen Fahrspu-rerkennung

Im Kapitel 2 beschriebene Verfahren zur Fahrbahnverfolgung bestimmt die Fahrspurgeo-metrie indem der Spurerkennungsalgorithmus Polaris Kamerabilder auswertet Bevor eineFahrbahnverfolgung realisiert werden kann muumlssen passende zu Lichtverhaumlltnissen Kame-raparameter empirisch ermittelt werden Waumlhrend einer Fahrt wird die Kamera mit den ent-sprechenden Parameter gesteuert um Bilder zu produzieren Wenn aber die Fahrstreckenicht gleichmaumlszligig belichtet ist treten Probleme auf weil manche Bilder unter- oder uumlberbe-lichtet werden Weiterhin soll der Schwellwert fuumlr die Spurerkennung festgelegt werden Der

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

9

bestgeeigneter Schwellwert ist von Kantenfilterung und Belichtung des Bildes abhaumlngig Ausdiesem Grund ist eine Adaptive Kameraparametrierung in Echtzeit nuumltzlich

31 Kameraparameter

Belichtungszeit ist die Dauer fuumlr die sich der Verschluss der Kamera oumlffnet und das Aufnah-mematerial dem durch das Objektiv projizierten Bild aussetzt Wenn das Aufnahmelicht sehrhell ist oder um Bewegung zu stoppen soll die Belichtungszeit verkuumlrzt werden Lange Be-lichtungszeit ist vorteilhaft wenn das Aufnahmelicht schwach ist Damit das Fahrzeug schnellauf Aumlnderungen der Spurgeometrie reagiert soll die Kamera mindestens 40 Bilder pro Se-kunde aufnehmen Dadurch ist die Belichtungszeit auf 25 ms begrenzt Damit ausreichendscharfe Bilder auch bei houmlheren Geschwindigkeiten entstehen soll die Belichtungszeit nochreduziert werden In Abbildung 8 sind Kamerabilder mit unterschiedlichen Belichtungszei-ten dargestellt Die entsprechenden mit horizontalem Sobel-Operator gefilterten Bilder wer-den mit unterschiedlichen Schwellwerten verarbeitet weil der bestgeeignete Schwellwert zurKantenextraktion mit der Belichtung des Bildes gebunden ist (vgl Abbildung 9)

(a) 1 ms (b) 10 ms (c) 25 ms

Abbildung 8 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten

(a) Schwellwert = 20 (b) Schwellwert = 40 (c) Schwellwert = 100

Abbildung 9 Sobelbilder nach Schwellwertfunktion

Mittels dem bdquomaster gainldquo Kameraparameter kann der Kontrast eines Bildes erhoumlht werdenAuf diese Weise kann Robustheit fuumlr die Spurerkennung geschafft werden weil dann die

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

10

Spurmarkierung von der Fahrbahn besser zu unterscheiden ist Somit kann das Intervall indem ein geeigneter Schwellwert fuumlr die Kantenfilterung liegt vergroumlszligert werden (vgl Abbil-dung 10) Ein hoher master gain kann jedoch zu verrauschte Bilder fuumlhren

(a) Originalbild (b) Sobelbild (Schwellwert = 50) (c) Sobelbild (Schwellwert = 150)

Abbildung 10 Kontrastverstaumlrkung

Zur Optimierung der Spurerkennung kann die Kamera UI-1226LE-M auch eine Kantenver-staumlrkung leisten Das koumlnnte aber gleichzeitig die Wirkung von unguumlnstigen Lichtverhaumlltnis-sen verstaumlrken (vgl Abbildung 11)

(a) Originalbild (b) Sobelbild (Schwellwert = 50)

Abbildung 11 Kantenverstaumlrkung

32 Schwellwertselektion

Aus Kapitel 31 folgt dass der bestgeeignete Schwellwert fuumlr die Kantendetektion von Be-lichtung des Bildes abhaumlngig ist Somit ist es vorteilhafter dieser Schwellwert automatischbezuumlglich Bildbelichtung zu ermitteln Im (Hamadani 1981) wurde die Methode bdquoThresholdSelection Using Mean and Standard Deviationldquo vorgestellt Diese Methode berechnet einengeeigneten Schwellwert τ mittels der arithmetischen Mittel micro und der Standartabweichungσ eines Bildes a mit der Groumlszlige mtimesn

τ = k1micro + k2σ (1)

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

11

wobei die Konstanten k1 und k2 von Bildtyp abhaumlngen und

micro =1

mn

m

sumi=1

n

sumj=1

a(i j) (2)

σ =

radic1

mn

m

sumi=1

n

sumj=1

(a(i j)minusmicro)2 (3)

Fuumlr typische niedriger Aufloumlsung Bilder k1 = k2 = 1 scheint ziemlich gut zu funktionierenFuumlr houmlhere Aufloumlsung sollten k1 = 1 oder k1 = 15 und k2 = 2 bessere Ergebnisse erzielen

33 Belichtungsregelung

Eines der Hauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belich-tung Zu diesem Zweck sind in fast alle modernen digitalen Kameras Shuttersysteme zurautomatischen Belichtungsregelung integriert Jedoch bleiben noch Beschraumlnkungen Nor-malerweise sind solche Techniken in Bezug auf den spezifischen Inhalt der Szene voumllligblind Zum Beispiel eine Schnee-Szene oder eine schwarze Lokomotive mit einem Schutter-system zu fotografieren ist sehr schwierig

In der Bildverarbeitung wird der Maszlig Lichtwert LW verwendet um die Beziehung zwi-schen dem Blendenzahl K und der Belichtungszeit T vorzugeben (Lukac 2006)

LW = log2

(K2

T

)= 2log2(K)minus log2(T ) (4)

Der Lichtwert wird kleiner wenn die Belichtungszeit steigt und er wird groumlszliger wenn die Blen-denzahl waumlchst Die meisten Algorithmen zur Belichtungsregelung arbeiten auf die folgendeWeise

1 Ein Bild wird mit einem vorher bestimmten Lichtwert LWvor aufgenommen

2 Die RGB-Werte werden zur Helligkeit B umgewandelt

3 Ein Wert Bvor (Standartabweichung Median o a) wird vom Helligkeitsbild berechnet

4 Beruhend auf die Linearitaumltsannahme und Gleichung 4 der optimalen Lichtwert LWoptsollte eine bessere Belichtung erzielen Das mit diesem LWopt aufgenommene Bildsollte eine Zahl in der Naumlhe von einem vorherbestimmten idealen Wert Bopt ergebenDaraus folgt

LWopt = LWpre + log2(Bvor)minus log2(Bopt) (5)

Der ideale Wert Bopt wird meistens empirisch ermittelt Verschiedene Algorithmen unter-scheiden sich hauptsaumlchlich darin wie Bvor aus dem Bild abgeleitet wird

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 6

Kamera mit modernem Aptina CMOS-Sensor in Wide VGA-Aufloumlsung (752x480 Pixel) Die-se Kamera kann bis zu 87 Bilder pro Sekunde liefern und die Belichtungszeit kann bis auf80 micros reduziert werden so dass auch fuumlr bewegliche Objekte ausreichend scharfe Fo-tos entstehen Durch Verwendung der weit verbreiteten USB 20-Technologie ist die An-bindung an verschiedenste Systeme problemlos moumlglich Die UI-1226LE besitzt einen S-Mount-Objektivhalter mit M12-Gewinde und integriertem Filterglas Um die Integration zuerleichtern sind die Programmiersprachen C C++ Microsoft NET und Visual Basic unter-stuumltzt

22 Der Spurerkennungsalgorithmus Polaris

(a) Original Kamerabild (b) Erkennung von Fahrspurpunkte

Abbildung 5 Fahrspurerkennung mittels Polaris

Der Spurerkennungsalgorithmus Polaris (Jenning 2009) hat die Aufgabe die entstandenenBilder zu bearbeiten und die Fahrspurgeometrie zu bestimmen Da Bildverarbeitung in derRegel sehr aufwendig ist werden nur ein paar Betrachtungsbereiche pro Fahrspurmarkie-rung ausgewertet (vgl Abbildung 5b) Im Englischen wird der Betrachtungsbereich als Re-gion Of Interest(ROI) bezeichnet Um die Kanten zu detektieren wird jeder Betrachtungsbe-reich des Bildes mit dem horizontalen Sobel-Operator gefiltert Nach der Faltung mit demSobel-Operator wird eine Schwellwert-Funktion zur Erkennung die groumlszligten Kanten ange-wendet Anschlieszligend wird maximal ein Fahrspurmarkierungspunkt pro Betrachtungsbereichextrahiert Weiterhin werden diese Bildpunkte durch eine projektive Transformation in dasFahrzeugkoordinatensystem uumlbertragen Hier liegt das Massezentrum des Fahrzeugs starrim Koordinatenursprung und das Koordinatensystem wird mit dem Fahrzeug bewegt ZurApproximation der Fahrspurmarkierungen werden Polynome 2 oder 3 Grades verwendetUm die Parameter des Polynoms zu approximieren wird die Methode der kleinsten Quadrate

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 7

angewendet Auf diese Weise liefert der Algorithmus Polaris zwei Polynome die die zwei zurFahrspur gehoumlrigen Fahrbahnmarkierungen im Fahrzeugkoordinatensystem beschreiben

23 Die Steuerungssoftware

Ziel der Steuerungssoftware ist bezuumlglich dieser Polynomen Lenkwinkel und Geschwindig-keit fuumlr die Aktorik zu ermitteln Anhand der Parameter des Polynoms kann festgelegt werdenob eine Kurvenfahrt vorsteht Falls noumltig wird dann die Geschwindigkeit reduziert

Abbildung 6 Bestimmung des Zieles

Weiterhin soll die Steuerungssoftware den Lenkwinkel festlegen und die Fahrrichtung desFahrzeuges korrigieren Das Verfahren beruht teilweise auf dem Verhaltensmuster des Men-schen beim Fahren Der Fahrer fokussiert sein Blickfeld in einer gewissen Entfernung vordem Fahrzeug und dreht das Lenkrad relativ zu der Fahrspur Analog dazu lokalisiert dasVerfahren (Nikolov 2009) kontinuierlich ein Ziel dass das Fahrzeug verfolgen soll DiesesZiel sollte im Idealfall in der Mitte der Fahrspur liegen (vgl Abbildung 6) Um die die Fahr-spurmitte zu bestimmen wird die Tangente eines Polynoms gebildet Die Entfernung zwi-schen Fahrzeug und Ziel ist fuumlr Praumlzision und Stabilitaumlt der Fahrbahnverfolgung entschei-dend Um eine praumlzise Fahrt zu erreichen muss das Ziel nah am Fahrzeug liegen damit dieFahrspurgeometrie optimaler beruumlcksichtigt wird Das wiederum beeintraumlchtigt die Stabili-taumlt so erheblich dass houmlhere Geschwindigkeiten nicht erreichbar sind weil die Verzoumlgerungdes Lenkungssystems ausschlaggebende Schwingungen beim Fahren verursacht Um dieseSchwingungen zu reduzieren sollte die Entfernung erhoumlht werden Auf diese Weise wird ei-ne Stabilitaumlt erreicht die die Fahrbahnverfolgung bei houmlheren Geschwindigkeiten ermoumlglichtDas verschlechtert gleichzeitig aber die Praumlzision der Fahrt und ab einer bestimmten Entfer-nung kann der Algorithmus nicht mehr gewaumlhrleisten dass das Fahrzeug dauerhaft auf derzu verfolgenden Fahrbahn bleibt Da sowohl Praumlzision als auch Stabilitaumlt sehr wichtig sind

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

8

muss eine passende Entfernung hinsichtlich der gestellten Anforderungen bestimmt werdenDie bestgeeignete Zielentfernung ist bezuumlglich des minimalen Kurvenradius empirisch ermit-telt worden weil die Fahrt in den engsten Kurven der Strecke am meisten Praumlzision fordert

Abbildung 7 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo

Als naumlchstes soll der Lenkwinkel in Bezug auf das Ziel bestimmt werden Hier kommt dergeometrische Algorithmus bdquoPure Pursuitldquo (Coulter 1992) zum Einsatz Dieser Algorithmusbasiert auf die Kruumlmmung des Kreisbogens der Fahrzeug und Ziel verbindet Diese Kruumlm-mung dient als Fuumlhrungsgroumlszlige fuumlr die Steuerung der Lenkaktorik Das Fahrzeug reagiertkontinuierlich mit einer Kurvenfahrt dieser Kruumlmmung um das Ziel zu erreichen (vgl Abbil-dung 7) Somit entsteht eine stabilere Fahrt weil die Kruumlmmung im Verlauf einer Streckezum groszligen Teil konstant ist

3 Adaptive Kameraparametrierung zur optimalen Fahrspu-rerkennung

Im Kapitel 2 beschriebene Verfahren zur Fahrbahnverfolgung bestimmt die Fahrspurgeo-metrie indem der Spurerkennungsalgorithmus Polaris Kamerabilder auswertet Bevor eineFahrbahnverfolgung realisiert werden kann muumlssen passende zu Lichtverhaumlltnissen Kame-raparameter empirisch ermittelt werden Waumlhrend einer Fahrt wird die Kamera mit den ent-sprechenden Parameter gesteuert um Bilder zu produzieren Wenn aber die Fahrstreckenicht gleichmaumlszligig belichtet ist treten Probleme auf weil manche Bilder unter- oder uumlberbe-lichtet werden Weiterhin soll der Schwellwert fuumlr die Spurerkennung festgelegt werden Der

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

9

bestgeeigneter Schwellwert ist von Kantenfilterung und Belichtung des Bildes abhaumlngig Ausdiesem Grund ist eine Adaptive Kameraparametrierung in Echtzeit nuumltzlich

31 Kameraparameter

Belichtungszeit ist die Dauer fuumlr die sich der Verschluss der Kamera oumlffnet und das Aufnah-mematerial dem durch das Objektiv projizierten Bild aussetzt Wenn das Aufnahmelicht sehrhell ist oder um Bewegung zu stoppen soll die Belichtungszeit verkuumlrzt werden Lange Be-lichtungszeit ist vorteilhaft wenn das Aufnahmelicht schwach ist Damit das Fahrzeug schnellauf Aumlnderungen der Spurgeometrie reagiert soll die Kamera mindestens 40 Bilder pro Se-kunde aufnehmen Dadurch ist die Belichtungszeit auf 25 ms begrenzt Damit ausreichendscharfe Bilder auch bei houmlheren Geschwindigkeiten entstehen soll die Belichtungszeit nochreduziert werden In Abbildung 8 sind Kamerabilder mit unterschiedlichen Belichtungszei-ten dargestellt Die entsprechenden mit horizontalem Sobel-Operator gefilterten Bilder wer-den mit unterschiedlichen Schwellwerten verarbeitet weil der bestgeeignete Schwellwert zurKantenextraktion mit der Belichtung des Bildes gebunden ist (vgl Abbildung 9)

(a) 1 ms (b) 10 ms (c) 25 ms

Abbildung 8 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten

(a) Schwellwert = 20 (b) Schwellwert = 40 (c) Schwellwert = 100

Abbildung 9 Sobelbilder nach Schwellwertfunktion

Mittels dem bdquomaster gainldquo Kameraparameter kann der Kontrast eines Bildes erhoumlht werdenAuf diese Weise kann Robustheit fuumlr die Spurerkennung geschafft werden weil dann die

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

10

Spurmarkierung von der Fahrbahn besser zu unterscheiden ist Somit kann das Intervall indem ein geeigneter Schwellwert fuumlr die Kantenfilterung liegt vergroumlszligert werden (vgl Abbil-dung 10) Ein hoher master gain kann jedoch zu verrauschte Bilder fuumlhren

(a) Originalbild (b) Sobelbild (Schwellwert = 50) (c) Sobelbild (Schwellwert = 150)

Abbildung 10 Kontrastverstaumlrkung

Zur Optimierung der Spurerkennung kann die Kamera UI-1226LE-M auch eine Kantenver-staumlrkung leisten Das koumlnnte aber gleichzeitig die Wirkung von unguumlnstigen Lichtverhaumlltnis-sen verstaumlrken (vgl Abbildung 11)

(a) Originalbild (b) Sobelbild (Schwellwert = 50)

Abbildung 11 Kantenverstaumlrkung

32 Schwellwertselektion

Aus Kapitel 31 folgt dass der bestgeeignete Schwellwert fuumlr die Kantendetektion von Be-lichtung des Bildes abhaumlngig ist Somit ist es vorteilhafter dieser Schwellwert automatischbezuumlglich Bildbelichtung zu ermitteln Im (Hamadani 1981) wurde die Methode bdquoThresholdSelection Using Mean and Standard Deviationldquo vorgestellt Diese Methode berechnet einengeeigneten Schwellwert τ mittels der arithmetischen Mittel micro und der Standartabweichungσ eines Bildes a mit der Groumlszlige mtimesn

τ = k1micro + k2σ (1)

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

11

wobei die Konstanten k1 und k2 von Bildtyp abhaumlngen und

micro =1

mn

m

sumi=1

n

sumj=1

a(i j) (2)

σ =

radic1

mn

m

sumi=1

n

sumj=1

(a(i j)minusmicro)2 (3)

Fuumlr typische niedriger Aufloumlsung Bilder k1 = k2 = 1 scheint ziemlich gut zu funktionierenFuumlr houmlhere Aufloumlsung sollten k1 = 1 oder k1 = 15 und k2 = 2 bessere Ergebnisse erzielen

33 Belichtungsregelung

Eines der Hauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belich-tung Zu diesem Zweck sind in fast alle modernen digitalen Kameras Shuttersysteme zurautomatischen Belichtungsregelung integriert Jedoch bleiben noch Beschraumlnkungen Nor-malerweise sind solche Techniken in Bezug auf den spezifischen Inhalt der Szene voumllligblind Zum Beispiel eine Schnee-Szene oder eine schwarze Lokomotive mit einem Schutter-system zu fotografieren ist sehr schwierig

In der Bildverarbeitung wird der Maszlig Lichtwert LW verwendet um die Beziehung zwi-schen dem Blendenzahl K und der Belichtungszeit T vorzugeben (Lukac 2006)

LW = log2

(K2

T

)= 2log2(K)minus log2(T ) (4)

Der Lichtwert wird kleiner wenn die Belichtungszeit steigt und er wird groumlszliger wenn die Blen-denzahl waumlchst Die meisten Algorithmen zur Belichtungsregelung arbeiten auf die folgendeWeise

1 Ein Bild wird mit einem vorher bestimmten Lichtwert LWvor aufgenommen

2 Die RGB-Werte werden zur Helligkeit B umgewandelt

3 Ein Wert Bvor (Standartabweichung Median o a) wird vom Helligkeitsbild berechnet

4 Beruhend auf die Linearitaumltsannahme und Gleichung 4 der optimalen Lichtwert LWoptsollte eine bessere Belichtung erzielen Das mit diesem LWopt aufgenommene Bildsollte eine Zahl in der Naumlhe von einem vorherbestimmten idealen Wert Bopt ergebenDaraus folgt

LWopt = LWpre + log2(Bvor)minus log2(Bopt) (5)

Der ideale Wert Bopt wird meistens empirisch ermittelt Verschiedene Algorithmen unter-scheiden sich hauptsaumlchlich darin wie Bvor aus dem Bild abgeleitet wird

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

2 DAS VERFAHREN ZUR FAHRBAHNVERFOLGUNG 7

angewendet Auf diese Weise liefert der Algorithmus Polaris zwei Polynome die die zwei zurFahrspur gehoumlrigen Fahrbahnmarkierungen im Fahrzeugkoordinatensystem beschreiben

23 Die Steuerungssoftware

Ziel der Steuerungssoftware ist bezuumlglich dieser Polynomen Lenkwinkel und Geschwindig-keit fuumlr die Aktorik zu ermitteln Anhand der Parameter des Polynoms kann festgelegt werdenob eine Kurvenfahrt vorsteht Falls noumltig wird dann die Geschwindigkeit reduziert

Abbildung 6 Bestimmung des Zieles

Weiterhin soll die Steuerungssoftware den Lenkwinkel festlegen und die Fahrrichtung desFahrzeuges korrigieren Das Verfahren beruht teilweise auf dem Verhaltensmuster des Men-schen beim Fahren Der Fahrer fokussiert sein Blickfeld in einer gewissen Entfernung vordem Fahrzeug und dreht das Lenkrad relativ zu der Fahrspur Analog dazu lokalisiert dasVerfahren (Nikolov 2009) kontinuierlich ein Ziel dass das Fahrzeug verfolgen soll DiesesZiel sollte im Idealfall in der Mitte der Fahrspur liegen (vgl Abbildung 6) Um die die Fahr-spurmitte zu bestimmen wird die Tangente eines Polynoms gebildet Die Entfernung zwi-schen Fahrzeug und Ziel ist fuumlr Praumlzision und Stabilitaumlt der Fahrbahnverfolgung entschei-dend Um eine praumlzise Fahrt zu erreichen muss das Ziel nah am Fahrzeug liegen damit dieFahrspurgeometrie optimaler beruumlcksichtigt wird Das wiederum beeintraumlchtigt die Stabili-taumlt so erheblich dass houmlhere Geschwindigkeiten nicht erreichbar sind weil die Verzoumlgerungdes Lenkungssystems ausschlaggebende Schwingungen beim Fahren verursacht Um dieseSchwingungen zu reduzieren sollte die Entfernung erhoumlht werden Auf diese Weise wird ei-ne Stabilitaumlt erreicht die die Fahrbahnverfolgung bei houmlheren Geschwindigkeiten ermoumlglichtDas verschlechtert gleichzeitig aber die Praumlzision der Fahrt und ab einer bestimmten Entfer-nung kann der Algorithmus nicht mehr gewaumlhrleisten dass das Fahrzeug dauerhaft auf derzu verfolgenden Fahrbahn bleibt Da sowohl Praumlzision als auch Stabilitaumlt sehr wichtig sind

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

8

muss eine passende Entfernung hinsichtlich der gestellten Anforderungen bestimmt werdenDie bestgeeignete Zielentfernung ist bezuumlglich des minimalen Kurvenradius empirisch ermit-telt worden weil die Fahrt in den engsten Kurven der Strecke am meisten Praumlzision fordert

Abbildung 7 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo

Als naumlchstes soll der Lenkwinkel in Bezug auf das Ziel bestimmt werden Hier kommt dergeometrische Algorithmus bdquoPure Pursuitldquo (Coulter 1992) zum Einsatz Dieser Algorithmusbasiert auf die Kruumlmmung des Kreisbogens der Fahrzeug und Ziel verbindet Diese Kruumlm-mung dient als Fuumlhrungsgroumlszlige fuumlr die Steuerung der Lenkaktorik Das Fahrzeug reagiertkontinuierlich mit einer Kurvenfahrt dieser Kruumlmmung um das Ziel zu erreichen (vgl Abbil-dung 7) Somit entsteht eine stabilere Fahrt weil die Kruumlmmung im Verlauf einer Streckezum groszligen Teil konstant ist

3 Adaptive Kameraparametrierung zur optimalen Fahrspu-rerkennung

Im Kapitel 2 beschriebene Verfahren zur Fahrbahnverfolgung bestimmt die Fahrspurgeo-metrie indem der Spurerkennungsalgorithmus Polaris Kamerabilder auswertet Bevor eineFahrbahnverfolgung realisiert werden kann muumlssen passende zu Lichtverhaumlltnissen Kame-raparameter empirisch ermittelt werden Waumlhrend einer Fahrt wird die Kamera mit den ent-sprechenden Parameter gesteuert um Bilder zu produzieren Wenn aber die Fahrstreckenicht gleichmaumlszligig belichtet ist treten Probleme auf weil manche Bilder unter- oder uumlberbe-lichtet werden Weiterhin soll der Schwellwert fuumlr die Spurerkennung festgelegt werden Der

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

9

bestgeeigneter Schwellwert ist von Kantenfilterung und Belichtung des Bildes abhaumlngig Ausdiesem Grund ist eine Adaptive Kameraparametrierung in Echtzeit nuumltzlich

31 Kameraparameter

Belichtungszeit ist die Dauer fuumlr die sich der Verschluss der Kamera oumlffnet und das Aufnah-mematerial dem durch das Objektiv projizierten Bild aussetzt Wenn das Aufnahmelicht sehrhell ist oder um Bewegung zu stoppen soll die Belichtungszeit verkuumlrzt werden Lange Be-lichtungszeit ist vorteilhaft wenn das Aufnahmelicht schwach ist Damit das Fahrzeug schnellauf Aumlnderungen der Spurgeometrie reagiert soll die Kamera mindestens 40 Bilder pro Se-kunde aufnehmen Dadurch ist die Belichtungszeit auf 25 ms begrenzt Damit ausreichendscharfe Bilder auch bei houmlheren Geschwindigkeiten entstehen soll die Belichtungszeit nochreduziert werden In Abbildung 8 sind Kamerabilder mit unterschiedlichen Belichtungszei-ten dargestellt Die entsprechenden mit horizontalem Sobel-Operator gefilterten Bilder wer-den mit unterschiedlichen Schwellwerten verarbeitet weil der bestgeeignete Schwellwert zurKantenextraktion mit der Belichtung des Bildes gebunden ist (vgl Abbildung 9)

(a) 1 ms (b) 10 ms (c) 25 ms

Abbildung 8 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten

(a) Schwellwert = 20 (b) Schwellwert = 40 (c) Schwellwert = 100

Abbildung 9 Sobelbilder nach Schwellwertfunktion

Mittels dem bdquomaster gainldquo Kameraparameter kann der Kontrast eines Bildes erhoumlht werdenAuf diese Weise kann Robustheit fuumlr die Spurerkennung geschafft werden weil dann die

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

10

Spurmarkierung von der Fahrbahn besser zu unterscheiden ist Somit kann das Intervall indem ein geeigneter Schwellwert fuumlr die Kantenfilterung liegt vergroumlszligert werden (vgl Abbil-dung 10) Ein hoher master gain kann jedoch zu verrauschte Bilder fuumlhren

(a) Originalbild (b) Sobelbild (Schwellwert = 50) (c) Sobelbild (Schwellwert = 150)

Abbildung 10 Kontrastverstaumlrkung

Zur Optimierung der Spurerkennung kann die Kamera UI-1226LE-M auch eine Kantenver-staumlrkung leisten Das koumlnnte aber gleichzeitig die Wirkung von unguumlnstigen Lichtverhaumlltnis-sen verstaumlrken (vgl Abbildung 11)

(a) Originalbild (b) Sobelbild (Schwellwert = 50)

Abbildung 11 Kantenverstaumlrkung

32 Schwellwertselektion

Aus Kapitel 31 folgt dass der bestgeeignete Schwellwert fuumlr die Kantendetektion von Be-lichtung des Bildes abhaumlngig ist Somit ist es vorteilhafter dieser Schwellwert automatischbezuumlglich Bildbelichtung zu ermitteln Im (Hamadani 1981) wurde die Methode bdquoThresholdSelection Using Mean and Standard Deviationldquo vorgestellt Diese Methode berechnet einengeeigneten Schwellwert τ mittels der arithmetischen Mittel micro und der Standartabweichungσ eines Bildes a mit der Groumlszlige mtimesn

τ = k1micro + k2σ (1)

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

11

wobei die Konstanten k1 und k2 von Bildtyp abhaumlngen und

micro =1

mn

m

sumi=1

n

sumj=1

a(i j) (2)

σ =

radic1

mn

m

sumi=1

n

sumj=1

(a(i j)minusmicro)2 (3)

Fuumlr typische niedriger Aufloumlsung Bilder k1 = k2 = 1 scheint ziemlich gut zu funktionierenFuumlr houmlhere Aufloumlsung sollten k1 = 1 oder k1 = 15 und k2 = 2 bessere Ergebnisse erzielen

33 Belichtungsregelung

Eines der Hauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belich-tung Zu diesem Zweck sind in fast alle modernen digitalen Kameras Shuttersysteme zurautomatischen Belichtungsregelung integriert Jedoch bleiben noch Beschraumlnkungen Nor-malerweise sind solche Techniken in Bezug auf den spezifischen Inhalt der Szene voumllligblind Zum Beispiel eine Schnee-Szene oder eine schwarze Lokomotive mit einem Schutter-system zu fotografieren ist sehr schwierig

In der Bildverarbeitung wird der Maszlig Lichtwert LW verwendet um die Beziehung zwi-schen dem Blendenzahl K und der Belichtungszeit T vorzugeben (Lukac 2006)

LW = log2

(K2

T

)= 2log2(K)minus log2(T ) (4)

Der Lichtwert wird kleiner wenn die Belichtungszeit steigt und er wird groumlszliger wenn die Blen-denzahl waumlchst Die meisten Algorithmen zur Belichtungsregelung arbeiten auf die folgendeWeise

1 Ein Bild wird mit einem vorher bestimmten Lichtwert LWvor aufgenommen

2 Die RGB-Werte werden zur Helligkeit B umgewandelt

3 Ein Wert Bvor (Standartabweichung Median o a) wird vom Helligkeitsbild berechnet

4 Beruhend auf die Linearitaumltsannahme und Gleichung 4 der optimalen Lichtwert LWoptsollte eine bessere Belichtung erzielen Das mit diesem LWopt aufgenommene Bildsollte eine Zahl in der Naumlhe von einem vorherbestimmten idealen Wert Bopt ergebenDaraus folgt

LWopt = LWpre + log2(Bvor)minus log2(Bopt) (5)

Der ideale Wert Bopt wird meistens empirisch ermittelt Verschiedene Algorithmen unter-scheiden sich hauptsaumlchlich darin wie Bvor aus dem Bild abgeleitet wird

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

8

muss eine passende Entfernung hinsichtlich der gestellten Anforderungen bestimmt werdenDie bestgeeignete Zielentfernung ist bezuumlglich des minimalen Kurvenradius empirisch ermit-telt worden weil die Fahrt in den engsten Kurven der Strecke am meisten Praumlzision fordert

Abbildung 7 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo

Als naumlchstes soll der Lenkwinkel in Bezug auf das Ziel bestimmt werden Hier kommt dergeometrische Algorithmus bdquoPure Pursuitldquo (Coulter 1992) zum Einsatz Dieser Algorithmusbasiert auf die Kruumlmmung des Kreisbogens der Fahrzeug und Ziel verbindet Diese Kruumlm-mung dient als Fuumlhrungsgroumlszlige fuumlr die Steuerung der Lenkaktorik Das Fahrzeug reagiertkontinuierlich mit einer Kurvenfahrt dieser Kruumlmmung um das Ziel zu erreichen (vgl Abbil-dung 7) Somit entsteht eine stabilere Fahrt weil die Kruumlmmung im Verlauf einer Streckezum groszligen Teil konstant ist

3 Adaptive Kameraparametrierung zur optimalen Fahrspu-rerkennung

Im Kapitel 2 beschriebene Verfahren zur Fahrbahnverfolgung bestimmt die Fahrspurgeo-metrie indem der Spurerkennungsalgorithmus Polaris Kamerabilder auswertet Bevor eineFahrbahnverfolgung realisiert werden kann muumlssen passende zu Lichtverhaumlltnissen Kame-raparameter empirisch ermittelt werden Waumlhrend einer Fahrt wird die Kamera mit den ent-sprechenden Parameter gesteuert um Bilder zu produzieren Wenn aber die Fahrstreckenicht gleichmaumlszligig belichtet ist treten Probleme auf weil manche Bilder unter- oder uumlberbe-lichtet werden Weiterhin soll der Schwellwert fuumlr die Spurerkennung festgelegt werden Der

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

9

bestgeeigneter Schwellwert ist von Kantenfilterung und Belichtung des Bildes abhaumlngig Ausdiesem Grund ist eine Adaptive Kameraparametrierung in Echtzeit nuumltzlich

31 Kameraparameter

Belichtungszeit ist die Dauer fuumlr die sich der Verschluss der Kamera oumlffnet und das Aufnah-mematerial dem durch das Objektiv projizierten Bild aussetzt Wenn das Aufnahmelicht sehrhell ist oder um Bewegung zu stoppen soll die Belichtungszeit verkuumlrzt werden Lange Be-lichtungszeit ist vorteilhaft wenn das Aufnahmelicht schwach ist Damit das Fahrzeug schnellauf Aumlnderungen der Spurgeometrie reagiert soll die Kamera mindestens 40 Bilder pro Se-kunde aufnehmen Dadurch ist die Belichtungszeit auf 25 ms begrenzt Damit ausreichendscharfe Bilder auch bei houmlheren Geschwindigkeiten entstehen soll die Belichtungszeit nochreduziert werden In Abbildung 8 sind Kamerabilder mit unterschiedlichen Belichtungszei-ten dargestellt Die entsprechenden mit horizontalem Sobel-Operator gefilterten Bilder wer-den mit unterschiedlichen Schwellwerten verarbeitet weil der bestgeeignete Schwellwert zurKantenextraktion mit der Belichtung des Bildes gebunden ist (vgl Abbildung 9)

(a) 1 ms (b) 10 ms (c) 25 ms

Abbildung 8 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten

(a) Schwellwert = 20 (b) Schwellwert = 40 (c) Schwellwert = 100

Abbildung 9 Sobelbilder nach Schwellwertfunktion

Mittels dem bdquomaster gainldquo Kameraparameter kann der Kontrast eines Bildes erhoumlht werdenAuf diese Weise kann Robustheit fuumlr die Spurerkennung geschafft werden weil dann die

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

10

Spurmarkierung von der Fahrbahn besser zu unterscheiden ist Somit kann das Intervall indem ein geeigneter Schwellwert fuumlr die Kantenfilterung liegt vergroumlszligert werden (vgl Abbil-dung 10) Ein hoher master gain kann jedoch zu verrauschte Bilder fuumlhren

(a) Originalbild (b) Sobelbild (Schwellwert = 50) (c) Sobelbild (Schwellwert = 150)

Abbildung 10 Kontrastverstaumlrkung

Zur Optimierung der Spurerkennung kann die Kamera UI-1226LE-M auch eine Kantenver-staumlrkung leisten Das koumlnnte aber gleichzeitig die Wirkung von unguumlnstigen Lichtverhaumlltnis-sen verstaumlrken (vgl Abbildung 11)

(a) Originalbild (b) Sobelbild (Schwellwert = 50)

Abbildung 11 Kantenverstaumlrkung

32 Schwellwertselektion

Aus Kapitel 31 folgt dass der bestgeeignete Schwellwert fuumlr die Kantendetektion von Be-lichtung des Bildes abhaumlngig ist Somit ist es vorteilhafter dieser Schwellwert automatischbezuumlglich Bildbelichtung zu ermitteln Im (Hamadani 1981) wurde die Methode bdquoThresholdSelection Using Mean and Standard Deviationldquo vorgestellt Diese Methode berechnet einengeeigneten Schwellwert τ mittels der arithmetischen Mittel micro und der Standartabweichungσ eines Bildes a mit der Groumlszlige mtimesn

τ = k1micro + k2σ (1)

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

11

wobei die Konstanten k1 und k2 von Bildtyp abhaumlngen und

micro =1

mn

m

sumi=1

n

sumj=1

a(i j) (2)

σ =

radic1

mn

m

sumi=1

n

sumj=1

(a(i j)minusmicro)2 (3)

Fuumlr typische niedriger Aufloumlsung Bilder k1 = k2 = 1 scheint ziemlich gut zu funktionierenFuumlr houmlhere Aufloumlsung sollten k1 = 1 oder k1 = 15 und k2 = 2 bessere Ergebnisse erzielen

33 Belichtungsregelung

Eines der Hauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belich-tung Zu diesem Zweck sind in fast alle modernen digitalen Kameras Shuttersysteme zurautomatischen Belichtungsregelung integriert Jedoch bleiben noch Beschraumlnkungen Nor-malerweise sind solche Techniken in Bezug auf den spezifischen Inhalt der Szene voumllligblind Zum Beispiel eine Schnee-Szene oder eine schwarze Lokomotive mit einem Schutter-system zu fotografieren ist sehr schwierig

In der Bildverarbeitung wird der Maszlig Lichtwert LW verwendet um die Beziehung zwi-schen dem Blendenzahl K und der Belichtungszeit T vorzugeben (Lukac 2006)

LW = log2

(K2

T

)= 2log2(K)minus log2(T ) (4)

Der Lichtwert wird kleiner wenn die Belichtungszeit steigt und er wird groumlszliger wenn die Blen-denzahl waumlchst Die meisten Algorithmen zur Belichtungsregelung arbeiten auf die folgendeWeise

1 Ein Bild wird mit einem vorher bestimmten Lichtwert LWvor aufgenommen

2 Die RGB-Werte werden zur Helligkeit B umgewandelt

3 Ein Wert Bvor (Standartabweichung Median o a) wird vom Helligkeitsbild berechnet

4 Beruhend auf die Linearitaumltsannahme und Gleichung 4 der optimalen Lichtwert LWoptsollte eine bessere Belichtung erzielen Das mit diesem LWopt aufgenommene Bildsollte eine Zahl in der Naumlhe von einem vorherbestimmten idealen Wert Bopt ergebenDaraus folgt

LWopt = LWpre + log2(Bvor)minus log2(Bopt) (5)

Der ideale Wert Bopt wird meistens empirisch ermittelt Verschiedene Algorithmen unter-scheiden sich hauptsaumlchlich darin wie Bvor aus dem Bild abgeleitet wird

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

9

bestgeeigneter Schwellwert ist von Kantenfilterung und Belichtung des Bildes abhaumlngig Ausdiesem Grund ist eine Adaptive Kameraparametrierung in Echtzeit nuumltzlich

31 Kameraparameter

Belichtungszeit ist die Dauer fuumlr die sich der Verschluss der Kamera oumlffnet und das Aufnah-mematerial dem durch das Objektiv projizierten Bild aussetzt Wenn das Aufnahmelicht sehrhell ist oder um Bewegung zu stoppen soll die Belichtungszeit verkuumlrzt werden Lange Be-lichtungszeit ist vorteilhaft wenn das Aufnahmelicht schwach ist Damit das Fahrzeug schnellauf Aumlnderungen der Spurgeometrie reagiert soll die Kamera mindestens 40 Bilder pro Se-kunde aufnehmen Dadurch ist die Belichtungszeit auf 25 ms begrenzt Damit ausreichendscharfe Bilder auch bei houmlheren Geschwindigkeiten entstehen soll die Belichtungszeit nochreduziert werden In Abbildung 8 sind Kamerabilder mit unterschiedlichen Belichtungszei-ten dargestellt Die entsprechenden mit horizontalem Sobel-Operator gefilterten Bilder wer-den mit unterschiedlichen Schwellwerten verarbeitet weil der bestgeeignete Schwellwert zurKantenextraktion mit der Belichtung des Bildes gebunden ist (vgl Abbildung 9)

(a) 1 ms (b) 10 ms (c) 25 ms

Abbildung 8 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten

(a) Schwellwert = 20 (b) Schwellwert = 40 (c) Schwellwert = 100

Abbildung 9 Sobelbilder nach Schwellwertfunktion

Mittels dem bdquomaster gainldquo Kameraparameter kann der Kontrast eines Bildes erhoumlht werdenAuf diese Weise kann Robustheit fuumlr die Spurerkennung geschafft werden weil dann die

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

10

Spurmarkierung von der Fahrbahn besser zu unterscheiden ist Somit kann das Intervall indem ein geeigneter Schwellwert fuumlr die Kantenfilterung liegt vergroumlszligert werden (vgl Abbil-dung 10) Ein hoher master gain kann jedoch zu verrauschte Bilder fuumlhren

(a) Originalbild (b) Sobelbild (Schwellwert = 50) (c) Sobelbild (Schwellwert = 150)

Abbildung 10 Kontrastverstaumlrkung

Zur Optimierung der Spurerkennung kann die Kamera UI-1226LE-M auch eine Kantenver-staumlrkung leisten Das koumlnnte aber gleichzeitig die Wirkung von unguumlnstigen Lichtverhaumlltnis-sen verstaumlrken (vgl Abbildung 11)

(a) Originalbild (b) Sobelbild (Schwellwert = 50)

Abbildung 11 Kantenverstaumlrkung

32 Schwellwertselektion

Aus Kapitel 31 folgt dass der bestgeeignete Schwellwert fuumlr die Kantendetektion von Be-lichtung des Bildes abhaumlngig ist Somit ist es vorteilhafter dieser Schwellwert automatischbezuumlglich Bildbelichtung zu ermitteln Im (Hamadani 1981) wurde die Methode bdquoThresholdSelection Using Mean and Standard Deviationldquo vorgestellt Diese Methode berechnet einengeeigneten Schwellwert τ mittels der arithmetischen Mittel micro und der Standartabweichungσ eines Bildes a mit der Groumlszlige mtimesn

τ = k1micro + k2σ (1)

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

11

wobei die Konstanten k1 und k2 von Bildtyp abhaumlngen und

micro =1

mn

m

sumi=1

n

sumj=1

a(i j) (2)

σ =

radic1

mn

m

sumi=1

n

sumj=1

(a(i j)minusmicro)2 (3)

Fuumlr typische niedriger Aufloumlsung Bilder k1 = k2 = 1 scheint ziemlich gut zu funktionierenFuumlr houmlhere Aufloumlsung sollten k1 = 1 oder k1 = 15 und k2 = 2 bessere Ergebnisse erzielen

33 Belichtungsregelung

Eines der Hauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belich-tung Zu diesem Zweck sind in fast alle modernen digitalen Kameras Shuttersysteme zurautomatischen Belichtungsregelung integriert Jedoch bleiben noch Beschraumlnkungen Nor-malerweise sind solche Techniken in Bezug auf den spezifischen Inhalt der Szene voumllligblind Zum Beispiel eine Schnee-Szene oder eine schwarze Lokomotive mit einem Schutter-system zu fotografieren ist sehr schwierig

In der Bildverarbeitung wird der Maszlig Lichtwert LW verwendet um die Beziehung zwi-schen dem Blendenzahl K und der Belichtungszeit T vorzugeben (Lukac 2006)

LW = log2

(K2

T

)= 2log2(K)minus log2(T ) (4)

Der Lichtwert wird kleiner wenn die Belichtungszeit steigt und er wird groumlszliger wenn die Blen-denzahl waumlchst Die meisten Algorithmen zur Belichtungsregelung arbeiten auf die folgendeWeise

1 Ein Bild wird mit einem vorher bestimmten Lichtwert LWvor aufgenommen

2 Die RGB-Werte werden zur Helligkeit B umgewandelt

3 Ein Wert Bvor (Standartabweichung Median o a) wird vom Helligkeitsbild berechnet

4 Beruhend auf die Linearitaumltsannahme und Gleichung 4 der optimalen Lichtwert LWoptsollte eine bessere Belichtung erzielen Das mit diesem LWopt aufgenommene Bildsollte eine Zahl in der Naumlhe von einem vorherbestimmten idealen Wert Bopt ergebenDaraus folgt

LWopt = LWpre + log2(Bvor)minus log2(Bopt) (5)

Der ideale Wert Bopt wird meistens empirisch ermittelt Verschiedene Algorithmen unter-scheiden sich hauptsaumlchlich darin wie Bvor aus dem Bild abgeleitet wird

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

10

Spurmarkierung von der Fahrbahn besser zu unterscheiden ist Somit kann das Intervall indem ein geeigneter Schwellwert fuumlr die Kantenfilterung liegt vergroumlszligert werden (vgl Abbil-dung 10) Ein hoher master gain kann jedoch zu verrauschte Bilder fuumlhren

(a) Originalbild (b) Sobelbild (Schwellwert = 50) (c) Sobelbild (Schwellwert = 150)

Abbildung 10 Kontrastverstaumlrkung

Zur Optimierung der Spurerkennung kann die Kamera UI-1226LE-M auch eine Kantenver-staumlrkung leisten Das koumlnnte aber gleichzeitig die Wirkung von unguumlnstigen Lichtverhaumlltnis-sen verstaumlrken (vgl Abbildung 11)

(a) Originalbild (b) Sobelbild (Schwellwert = 50)

Abbildung 11 Kantenverstaumlrkung

32 Schwellwertselektion

Aus Kapitel 31 folgt dass der bestgeeignete Schwellwert fuumlr die Kantendetektion von Be-lichtung des Bildes abhaumlngig ist Somit ist es vorteilhafter dieser Schwellwert automatischbezuumlglich Bildbelichtung zu ermitteln Im (Hamadani 1981) wurde die Methode bdquoThresholdSelection Using Mean and Standard Deviationldquo vorgestellt Diese Methode berechnet einengeeigneten Schwellwert τ mittels der arithmetischen Mittel micro und der Standartabweichungσ eines Bildes a mit der Groumlszlige mtimesn

τ = k1micro + k2σ (1)

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

11

wobei die Konstanten k1 und k2 von Bildtyp abhaumlngen und

micro =1

mn

m

sumi=1

n

sumj=1

a(i j) (2)

σ =

radic1

mn

m

sumi=1

n

sumj=1

(a(i j)minusmicro)2 (3)

Fuumlr typische niedriger Aufloumlsung Bilder k1 = k2 = 1 scheint ziemlich gut zu funktionierenFuumlr houmlhere Aufloumlsung sollten k1 = 1 oder k1 = 15 und k2 = 2 bessere Ergebnisse erzielen

33 Belichtungsregelung

Eines der Hauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belich-tung Zu diesem Zweck sind in fast alle modernen digitalen Kameras Shuttersysteme zurautomatischen Belichtungsregelung integriert Jedoch bleiben noch Beschraumlnkungen Nor-malerweise sind solche Techniken in Bezug auf den spezifischen Inhalt der Szene voumllligblind Zum Beispiel eine Schnee-Szene oder eine schwarze Lokomotive mit einem Schutter-system zu fotografieren ist sehr schwierig

In der Bildverarbeitung wird der Maszlig Lichtwert LW verwendet um die Beziehung zwi-schen dem Blendenzahl K und der Belichtungszeit T vorzugeben (Lukac 2006)

LW = log2

(K2

T

)= 2log2(K)minus log2(T ) (4)

Der Lichtwert wird kleiner wenn die Belichtungszeit steigt und er wird groumlszliger wenn die Blen-denzahl waumlchst Die meisten Algorithmen zur Belichtungsregelung arbeiten auf die folgendeWeise

1 Ein Bild wird mit einem vorher bestimmten Lichtwert LWvor aufgenommen

2 Die RGB-Werte werden zur Helligkeit B umgewandelt

3 Ein Wert Bvor (Standartabweichung Median o a) wird vom Helligkeitsbild berechnet

4 Beruhend auf die Linearitaumltsannahme und Gleichung 4 der optimalen Lichtwert LWoptsollte eine bessere Belichtung erzielen Das mit diesem LWopt aufgenommene Bildsollte eine Zahl in der Naumlhe von einem vorherbestimmten idealen Wert Bopt ergebenDaraus folgt

LWopt = LWpre + log2(Bvor)minus log2(Bopt) (5)

Der ideale Wert Bopt wird meistens empirisch ermittelt Verschiedene Algorithmen unter-scheiden sich hauptsaumlchlich darin wie Bvor aus dem Bild abgeleitet wird

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

3 ADAPTIVE KAMERAPARAMETRIERUNG ZUR OPTIMALENFAHRSPURERKENNUNG

11

wobei die Konstanten k1 und k2 von Bildtyp abhaumlngen und

micro =1

mn

m

sumi=1

n

sumj=1

a(i j) (2)

σ =

radic1

mn

m

sumi=1

n

sumj=1

(a(i j)minusmicro)2 (3)

Fuumlr typische niedriger Aufloumlsung Bilder k1 = k2 = 1 scheint ziemlich gut zu funktionierenFuumlr houmlhere Aufloumlsung sollten k1 = 1 oder k1 = 15 und k2 = 2 bessere Ergebnisse erzielen

33 Belichtungsregelung

Eines der Hauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belich-tung Zu diesem Zweck sind in fast alle modernen digitalen Kameras Shuttersysteme zurautomatischen Belichtungsregelung integriert Jedoch bleiben noch Beschraumlnkungen Nor-malerweise sind solche Techniken in Bezug auf den spezifischen Inhalt der Szene voumllligblind Zum Beispiel eine Schnee-Szene oder eine schwarze Lokomotive mit einem Schutter-system zu fotografieren ist sehr schwierig

In der Bildverarbeitung wird der Maszlig Lichtwert LW verwendet um die Beziehung zwi-schen dem Blendenzahl K und der Belichtungszeit T vorzugeben (Lukac 2006)

LW = log2

(K2

T

)= 2log2(K)minus log2(T ) (4)

Der Lichtwert wird kleiner wenn die Belichtungszeit steigt und er wird groumlszliger wenn die Blen-denzahl waumlchst Die meisten Algorithmen zur Belichtungsregelung arbeiten auf die folgendeWeise

1 Ein Bild wird mit einem vorher bestimmten Lichtwert LWvor aufgenommen

2 Die RGB-Werte werden zur Helligkeit B umgewandelt

3 Ein Wert Bvor (Standartabweichung Median o a) wird vom Helligkeitsbild berechnet

4 Beruhend auf die Linearitaumltsannahme und Gleichung 4 der optimalen Lichtwert LWoptsollte eine bessere Belichtung erzielen Das mit diesem LWopt aufgenommene Bildsollte eine Zahl in der Naumlhe von einem vorherbestimmten idealen Wert Bopt ergebenDaraus folgt

LWopt = LWpre + log2(Bvor)minus log2(Bopt) (5)

Der ideale Wert Bopt wird meistens empirisch ermittelt Verschiedene Algorithmen unter-scheiden sich hauptsaumlchlich darin wie Bvor aus dem Bild abgeleitet wird

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 12

34 Belichtungsregelung mittels Merkmalsextraktionstechniken

Weitere Algorithmen regeln die Belichtung des Bildes indem sie spezifische Bildmerkma-le extrahieren und dann nur relevante Betrachtungsbereiche auswerten Die in diesem Ab-schnitt beschriebene Methode wurde im Wesentlichen fuumlr bewegliche Sensoranwendun-gen(speziell fuumlr Videotelefonie) entworfen Die Erkennung von Hauteigenschaften in Bildererlaubt die Auswahl und das Verfolgen von Betrachtungsbereiche (zB Gesichter) Wennkeine Haut in der Szene anwesend ist schaltet der Algorithmus automatisch zu anderen Ei-genschaften (wie Kontrast und Fokus) zur Verfolgung von relevanten BetrachtungsbereichenDer Algorithmus wird wie folgt definiert

1 Extraktion der Leuchtdichte

2 Mittels einer passenden Merkmalsextraktionstechnik ordnet der Algorithmus jedemBetrachtungsbereich einen Wert zu Das ermoumlglicht die Suche nach relevanten Berei-chen im Bild

3 Sobald die wichtigen Pixel identifiziert sind (zB die Pixel die zur Hauteigenschaftengehoumlren) wird eine globale Belichtungsregelung angewandt wobei als Hauptparame-ter die Standartabweichung der relevanten Betrachtungsbereichen verwendet wird

Abbildung 12 Belichtungsregelung mittels Merkmalsextraktionstechnik

Ergebnisse zeigen dass eine Belichtungsregelung mittels Merkmalsextraktionstechniken ei-ne Verbesserung der Bildqualitaumlt ermoumlglicht (Battiato u a 2004)

4 Zusammenfassung und Ausblick auf Projekt 1

In dieser Ausarbeitung wurde das am Carolo Cup 2010 (Carolo-Cup) von Team FAUSTOnyx eingesetzte Verfahren zur Fahrspurerkennung und -Verfolgung dargestellt Eines derHauptprobleme die Bildqualitaumlt betreffen kommt aus der unpassenden Belichtung Um dieRobustheit des Verfahrens zu erhoumlhen ist eine Belichtungsregelung zur Verbesserung der

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

4 ZUSAMMENFASSUNG UND AUSBLICK AUF PROJEKT 1 13

Bildqualitaumlt erforderlich In dieser Ausarbeitung wurden Techniken zur Belichtungsregelungvorgestellt Um eine optimale Bildbelichtung zu erzielen analysieren die meisten Algorith-men die Helligkeit des Bildes manche betrachten nur bestimmte Bildbereiche und drittewiederum verwenden Merkmalsextraktionstechniken zur Bestimmung und Verfolgung vonrelevanten Betrachtungsbereichen

Im Hinblick auf Projekt 1 soll eine Belichtungsregelung fuumlr das Fahrzeug Onyx entwickelt undrealisiert werden Diese soll relevante fuumlr die Spurerkennung Betrachtungsbereiche analy-sieren und die passenden Kameraparameter ermitteln Weiterhin muss der Schwellwert zurKantenextraktion mittels der Methode bdquoThreshold Selection Using Mean and Standard Devia-tionldquo berechnet werden um eine autonome Spurfuumlhrung bei aumlnderbaren Lichtverhaumlltnissenzu ermoumlglichen

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

ABBILDUNGSVERZEICHNIS 14

Abbildungsverzeichnis

1 Straszligenausschnitt 32 Das Fahrzeug Onyx 43 Systemaufbau der Spurfuumlhrung 54 Monochrom-USB-Kamera UI-1226LE-M 55 Fahrspurerkennung mittels Polaris 66 Bestimmung des Zieles 77 Lenkwinkelermittlung mittels bdquoPure Pursuitldquo 88 Originale Kamerabilder mit unterschiedlichen Belichtungszeiten 99 Sobelbilder nach Schwellwertfunktion 910 Kontrastverstaumlrkung 1011 Kantenverstaumlrkung 1012 Belichtungsregelung mittels Merkmalsextraktionstechnik 12

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

LITERATUR 15

Literatur

[Battiato u a 2004] BATTIATO S BOSCO A CASTORINA A MESSINA G Automaticimage enhancement by content dependent exposure correction In EURASIP Journal onApplied Signal Processing 2004

[Berger 2008] BERGER Dennis Fahrspurerkennung mit Three Feature Based Lane De-tection Algorithm (TFALDA) Hochschule fuumlr Angewandte Wissenschaften Hamburg Stu-dienarbeit 2008

[Carolo-Cup ] CAROLO-CUP Homepage des Carolo-Cup Wettbewerbs ndash URL httpwwwcarolocupde

[Carolo-Cup 2010] CAROLO-CUP Carolo-Cup Regelwerk 2010 ndash URLhttpwwwcarolocupdeuploadsmedia20080507_Carolo-Cup_Regelwerkpdf

[Coulter 1992] COULTER R C Implementation of the Pure Pursuit Tracking Algorithm Robotics Institute Carnegie Mellon University 1992 ndash Forschungsbericht

[Hamadani 1981] HAMADANI N Automatic target cueing in IR imagery Air Force Instituteof Technology Masterarbeit 1981

[Hensel 2008] HENSEL Enrico Fuumlhrungskonzept eines autonomen Fahrzeuges Hoch-schule fuumlr Angewandte Wissenschaften Hamburg Bericht Anwendung 1 2008

[Jenning 2009] JENNING Eike Systemidentifikation eines autonomen Fahrzeugs mit einerrobusten kamerabasierten Fahrspurerkennung in Echtzeit Hochschule fuumlr AngewandteWissenschaften Hamburg Masterarbeit 2009

[Kant 2007] KANT Alexander Bildverarbeitungsmodul zur Fahrspurerkennung fuumlr ein au-tonomes Fahrzeug Hochschule fuumlr Angewandte Wissenschaften Hamburg Bachelorar-beit 2007

[Lukac 2006] LUKAC Rastislav (Hrsg) Single-Sensor Imaging - Methods and Applicationsfor Digital Cameras CRC Press 2006

[Nikolov 2009] NIKOLOV Ivo Verfahren zur Fahrbahnverfolgung eines autonomen Fahr-zeugs mittels Pure Pursuit und Follow-the-carrot Hochschule fuumlr Angewandte Wissen-schaften Hamburg Bachelorarbeit 2009

[Thrun 2006] THRUN S Stanley The Robot that Won the DARPA Grand Challenge 2006ndash URL httprobotsstanfordedupapersthrunstanley05pdf

LITERATUR 16

[Volkswagen 2006] VOLKSWAGEN Automatischer GTI 2006 ndash URL httpwwwvolkswagenagcomvwagvwcorpcontentdeinnovationresearch_vehiclesautomatic_gtihtml

[Weiser u a 2009] WEISER Andreas BARTELS Dr A STEINMEYER Simon SCHULTZEDipl-Ing K MUSIAL Dr M WEISS Dr K Intelligent Car - Teilautomatisches Fahrenauf der Autobahn In AAET 2009