Post on 05-Jul-2020
transcript
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
gefördert durch
ENTWICKLUNG EINES MULTISENSORISCHEN ANALYSESYSTEMS FÜR EIN MULTIKRITERIELLES FISCHMONITORING
Dr.-Ing. Andreas HerzogFraunhofer IFF MagdeburgBiosystems Engineering
Magdeburg, den 27. September 2016Foto: SIBAU
ÖkoZert VP 6
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
2
gefördert durch
Gliederung
• Vorstellung
• Motivation
• Hardware zur Fischerkennung
• Software zur Fischerkennung
• Zusammenfassung
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
3
gefördert durch
Kompetenzfeld Biosystems EngineeringFraunhofer IFF Magdeburg
Automatisierte Bildanalyse, Datenauswertung und Mustererkennung im biologischen Kontext
Räumlich-zeitliche Modellierung und Simulation biologischer Entwicklungsprozesse
Weiterentwicklung von Methoden im Bereich maschinelles Lernen / Computational Intelligence
Spezialanwendungen für Industrie, Landwirtschaft, Biologie und Medizin
- Automatisierung der Arbeitsabläufe und Datenauswertung- Bildverarbeitung (multimodal, hyperspektral) - Mustererkennung (Künstliche Neuronale Netzwerke)
http://www.iff.fraunhofer.de/de/geschaeftsbereiche/biosystems-engineering.html
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
4
gefördert durch
Automatisiertes Monitoring von Fischen an wasserbaulichen Anlagen
• Wasserkraftwerke
• Fischaufstiegsanlagen
• Sensoren (Kameras) sollen Untersuchung durch Befischung ersetzen
• Kein Eingriff in die Anlagen (Kanalisierung der Fischbewegungen)
• Automatisiertes Auswerten und erstellen von Statistiken
Motivation
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
5
gefördert durch
Ähnliche Ansätze
• Vaki-Counter (isländische Firma) z.B. am Mosellum
• Laserlinien erfassen den Umriss (eingeschränkte Breite)
• Automatische Auswertung
• FishCam (Prof. Mader, Östereich)
• Kamerasystem und Beleuchtung
• Sichtbares Licht, eingeschränkte Breite
• Manuelles Zählen mit Kamerasystem (Mono) z.B. IWSÖ
• Manuelle Auswertung sehr zeitaufwändig
• Größenbestimmung mit einer Kamera nicht möglich
Motivation
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
6
gefördert durch
Unserer Ansatz
• Modulares System, dass sich an die Umgebung anpassen läßt
• Stereo (Mehrkamerasysteme) zur Entfernung- und Größenbestimmung
• Frei im Wasser ohne Kanalisierung
• Adaptive Beleuchtung je nach Wasserqualität
Motivation
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
7
gefördert durch
• Hardware
• Kriterien zum Auswahl / Bau der Komponenten
• Kamerasysteme unter Wasser
• Stereokalibrierung
• Beleuchtungssysteme
• Installation
• Software
• Datenmenge, Vor Ort Verarbeitung
• Objekterkennung
• Objektklassifizierung
• Objektvermessung
• Daten und Speicherorganisation (BigData)
Übersicht
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
8
gefördert durch
Einsatz von IP Überwachungskameras
• Überwachungstechnik
• Umfangreiche Software zum Steuern der Kameras
• Fernwartung
• Datenbanken
• Leider oft proprietäre Dateiformate (Konvertierung von Hand)
• Bewegungsdetektion
• Aufzeichnung nur bei Bewegung
• Pretrigger bei erkannter Bewegung
• Beschränkung bei der Auflösung, Steuerung durch eigene Programme
Versuche mit sehr guten Industriekameras + einfacheren IP Kameras
Hardware - Kameras
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
9
gefördert durch
Wellenlängenbereich Farbe oder Infrarot
• Farbkamera (RGB) mit weißer Beleuchtung
• Nutzung der Farbinformation zur Klassifizierung (Fisch, Fischart)
• Beleuchtung wird von Fischen gesehen und kann deren Verhalten beeinflussen
• Infrarotkamera mit Infrarotbeleuchtung
• Geringere Eindringtiefe ins Wasser
• Keine Farbinformation
• Beeinflusst die Fische nicht.
Beide Möglichkeiten vorsehen und untersuchen
Hardware - Kameras
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
10
gefördert durch
Stereokameras
• Stereo zur Entfernungs- und Größenbestimmung notwendig
• Kalibrierung des Kamerasystems notwendig
• In der Luft Standard (Implementiert in Softwarebibliotheken)
• Epipolarlinien ermitteln
• Im Wasser wenig Erfahrung (Software zur Entzerrung entwickeln)
• Zwei Kameras notwendig (Doppelte Kosten?)
• Modulsystem möglich
• Kamera 1: sehr gute Bildqualität
• Kamera 2: niedrige Bildqualität -> nur zur Entfernungsbestimmung
Entwickeln von Standards/Abläufe zur Kalibrierung
Hardware - Kameras
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
11
gefördert durch
Eintauchgehäuse im Antrag vorgesehen
• Keine vollständige Kapselung notwendig
• Einfachere Kabelführung
• Einfachere Zugänglichkeit
• Nachteile
• Eingeschränkter Tiefebereich (mehrerer Gehäuse, große Abmaße)
• Auftrieb muss kompensiert werden (25cm x 25 cm x 100 cm = 62,5 KG)
• Positionierung zur Scheibe kritisch für Entzerrung des Bildes
Verworfen, besser Tauchgehäuse
Hardware - Kameras
Kameragestell herausnehmbar
wasserdichtes Gehäuse mit Sichtscheibe
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
12
gefördert durch
Unterwasserkameras
• Unterwassergehäuse für Konsumerkameras
• Einfach verfügbar
• Kein Kabel (Strom, Daten) nur für Batteriebetrieb
• Bedienmöglichkeiten (Durchführung der Knöpfe), hier nicht notwendig
• Professionelle Kameragehäuse
• Wenige Anbieter, Einzelanfertigung
• Kosten ca. 1000 EUR pro Gehäuse (bis 200m)
• Eigenbau
• Verschiedene Möglichkeiten (<150 EUR)
Hardware - Kameras
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
13
gefördert durch
Unterwasserkameras
• Unterwassergehäuse für Konsumerkameras
• Einfach verfügbar
• Kein Kabel (Strom, Daten) nur für Batteriebetrieb
• Bedienmöglichkeiten (Durchführung der Knöpfe), hier nicht notwendig
• Professionelle Kameragehäuse
• Wenige Anbieter, Einzelanfertigung
• Kosten ca. 1000 EUR pro Gehäuse (bis 200m)
• Eigenbau
• Verschiedene Möglichkeiten (<150 EUR)
Hardware - Kameras
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
14
gefördert durch
• Industriekameras
• Farbkamera und Infrarotkamera gleiches Gehäuse
• POE (Power over Ethernet), nur ein Kabel (günstig)
• SDK (Software Development Kit) zum Programmieren
• Professionelles LED Licht
• Weiß und Infrarot gleiches Gehäuse,
• Ansteuerung vom Rechner für adaptive Lichtstärke
Versuchsaufbau
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
15
gefördert durch
Versuchsaufbau Labor
Messbereich 1m x 1m x 1m
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
16
gefördert durch
Versuchsaufbau Labor
Stereokalibrierung
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
17
gefördert durch
• Unterwassergehäuse Eigenbau
• Aluminium mit Fenster (<120EUR)
• Geklebtes Acrylglas (<100EUR)
• Tests in der Elbe
Versuchsaufbau
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
18
gefördert durch
Unterwassergehäuse Acrylglas
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
19
gefördert durch
Unterwassergehäuse Aluminium
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
20
gefördert durch
Unterwassergehäuse Test in der Elbe
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
21
gefördert durch
Beleuchtungsvarianten
Becken - Ansicht von oben
Variante: Beleuchtung von vorn
Stereokamerasystem
Einzelne Strahler mit Abschirmung von Streulicht
Ein
farb
ige
Rü
ckw
and
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
22
gefördert durch
Beleuchtungsvarianten
Becken - Ansicht von oben
Variante: flächige Beleuchtung von hinten
Stereokamerasystem
Fläc
hen
bel
euch
tun
g
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
23
gefördert durch
Beleuchtungsvarianten
Becken - Ansicht von der Seite
Variante: gesteuerte Beleuchtung von oben
Stereo-kamerasystem
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
24
gefördert durch
Beleuchtungsvarianten
Becken - Ansicht von der Seite
Variante: gesteuerte Beleuchtung von oben, zweiseitige Aufnahme
Stereokamera-system I
Stereokamera-system II
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
25
gefördert durch
Datenmenge
• Videodaten von Kamera
• Videodaten mit Objekt
• Einzelbilder der Objekte
• Eigenschaften der Objekte
• Eigenschaften der Fische
• Statistik der Fische
Software - Datenverarbeitung
groß
klein
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
26
gefördert durch
Software Frameworks
Echtzeitmodul
• Bildaufnahme, Kameraansteuerung
• Echtzeitverarbeitung
• Steuerung
Batchmodul
• Datensatzbasierte Batchverarbeitung
• Interaktive Arbeitsschritte einfach einbinden
• Modul IP: Bildverarbeitung für Einzelbilder
• Modul Video: Verarbeitung von Videosequenzen
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
27
gefördert durch
• Interaktives Markieren der Fische
• Unterstützung durch Bildverarbeitung (VisSoftSens
Lernfähiges System - Einlernen
Bild
er u
nd
Vid
eose
qu
enze
n
Berechnung von Bild- und
Objektfeatures
unterstützte interaktive
Artbestimmung
Stat
isti
sch
e A
usw
ertu
ng
Lernfähiges Erkennungs-system zur
Artbestimmung
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
28
gefördert durch
• Automatisches Arbeiten
• Lernverfahren, Klassifikatoren
• KNN
• cascade classifier
• Deep Learning Network (CNN)
Lernfähiges System - Arbeitsphase
Bild
er u
nd
Vid
eose
qu
enze
n
Berechnung von Bild- und
Objektfeatures
interaktive Kontrolle bei
schwierigen Fällen Stat
isti
sch
e A
usw
ertu
ngLernfähiges
Erkennungs-system zur
Artbestimmung
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
29
gefördert durch
Bildverarbeitung – Erkennen von Objekten
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
GW1
GW2
GW3
GW4
GW5
GW6
GW7
GW8
GW9
Aktivitätsmuster
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
30
gefördert durch
VisSoftSens – Konfigurierbare Softsensoren
Liniensensor - Detektion von Objekten
auf einer Linie- Trainieren des Hintergrunds
(verschiedene Verfahren)
Liniensensor / Punktsensor- Bestimmen der Bildqualität- Bestimmen der Sichttiefe
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
31
gefördert durch
VisSoftSens – Konfigurieren der Sensoren
Für modulares System einfach konfigurierbar
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
32
gefördert durch
Interaktives Markieren von Objekten
Erstellen von Trainingsdaten für Maschinelles Lernen.
© Fraunhofer IFF, Magdeburg 2016
Biosystems Engineering
33
gefördert durch
Vielen Dank für Ihre Aufmerksamkeit !
Dr.-Ing. Andreas HerzogFraunhofer IFF MagdeburgBiosystems Engineeringandreas.herzog@iff.fraunhofer.deTel. 0391 4090 767