Bildverarbeitung und Machine Learning

Wie funktioniert die Objekterkennung im Gehirn?Die Objekterkennung des Gehirns ist nahezu invariant gegenüber: Translation, Größe, Drehung, Beleuchtung, visuellem Kontext

Gehirnaktivität als Merkmalsvektor

Variationsgrad

Per

form

ance

- SIFT- Visual Words- History of Gradients (HOG)- ...

Vergleich mit State-of-the-Art Methoden

Wie funktioniert die Objekterkennung im Gehirn?Literatur:

– DiCarlo, James J., Davide Zoccolan, and Nicole C. Rust. "How does the brain solve visual object recognition?" Neuron 73.3 (2012): 415-434.

– Vortrag: James DiCarlo, “How the brain solves visual object recognition”, ICCV 2011,http://www.iccv2011.org, Video: http://iccv2011.org/oral_videos/day_3/3-0-keynote2.m4v

– Pinto, Nicolas, et al. "Comparing state-of-the-art visual features on invariant object recognition tasks." Applications of Computer Vision (WACV), 2011 IEEE Workshop on. IEEE, 2011.

Einzusetzende Mittel: Neuronale Strukturen, Objekterkennung aus Bildern

Keypoint-Deskriptor Fast Retina Keypoint (FREAK)

Ziel: Beschreibung von Bildpunkten (Keypoints) zur Wiedererkennung unter Rotation, Skalierung und Helligkeits- und Kontrastveränderung

Bild 1 Bild 2Modell der Retina

Beschreibung des Retina-Modells

Vergleich zu SIFT & SURF

Anwendungen?

Keypoint-Deskriptor Fast Retina Keypoint (FREAK)Literatur:

– Alahi, Alexandre, Raphael Ortiz, and Pierre Vandergheynst. "FREAK: Fast Retina Keypoint." Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.

– Leutenegger, Stefan, Margarita Chli, and Roland Y. Siegwart. "BRISK: Binary robust invariant scalable keypoints." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.

– Bay, Herbert, Tinne Tuytelaars, and Luc Van Gool. "Surf: Speeded up robust features." Computer Vision–ECCV 2006 (2006): 404-417.

– Lowe, David G. "Distinctive image features from scale-invariant keypoints." International journal of computer vision 60.2 (2004): 91-110.

Einzusetzende Mittel: Bildverarbeitung, Bildfilterung

Objekterkennung mit Local Binary Pattern (LBP)

Ziel: Unterscheidung von Objekten in Bildern anhand ihrer Texturen

Unter Variation von Richtung, Helligkeit, Kontrast und Skalierung

Texturdeskriptor: Einfache lokale KontrastverteilungVariantenBasic LBP, Rotation-Invariant LBP, Uniform LBP, LBPV, ...

Anwendungen?

Objekterkennung mit Local Binary Pattern (LBP)Literatur:

– Doshi, Niraj, and Gerald Schaefer. "A comparative analysis of local binary pattern texture classification." Visual Communications and Image Processing (VCIP), 2012 IEEE. IEEE, 2012.

– Ahonen, Timo, Abdenour Hadid, and Matti Pietikäinen. "Face recognition with local binary patterns." Computer Vision-ECCV 2004 (2004): 469-481.

– Ojala, Timo, Matti Pietikainen, and Topi Maenpaa. "Multiresolution gray-scale and rotation invariant texture classification with local binary patterns." Pattern Analysis and Machine Intelligence, IEEE Transactions on 24.7 (2002): 971-987.

– Zhao, Guoying, and Matti Pietikainen. "Dynamic texture recognition using local binary patterns with an application to facial expressions." Pattern Analysis and Machine Intelligence, IEEE Transactions on 29.6 (2007): 915-928.

Einzusetzende Mittel: Bildverarbeitung, Statistik, Klassifikation

Machine Learning mit dem Kernel-Perzeptron

Standard-Perzeptron: Einfaches, künstliches neuronales Netz Separiert linear trennbare Daten

Einfacher Online-Lernregel

Komplexe Trennebenen durch Kombination mit Kernelfunktionen

Vergleich von Varianten

- Kernel-Perceptron- Forgetron - Fuseptron- Projectron ++

Machine Learning mit dem Kernel-PerzeptronLiteratur:

– Freund, Yoav, and Robert E. Schapire. "Large margin classification using the perceptron algorithm." Machine learning 37.3 (1999): 277-296.

– Orabona, Francesco, Joseph Keshet, and Barbara Caputo. "The projectron: a bounded kernel-based Perceptron." Proceedings of the 25th international conference on Machine learning. ACM, 2008.

– Cavallanti, Giovanni, Nicolò Cesa-Bianchi, and Claudio Gentile. "Tracking the best hyperplane with a simple budget perceptron." Machine Learning 69.2 (2007): 143-167.

– Dekel, Ofer, Shai Shalev-Shwartz, and Yoram Singer. "The Forgetron: A kernel-based perceptron on a fixed budget." (2005).

– He, Huijun, Mingmin Chi, and Wenqiang Zhang. "A kernel fused perceptron for the online classification of large-scale data." Proceedings of the 1st International Workshop on Big Data, Streams and Heterogeneous Source Mining, ACM, 2012.

Einzusetzende Mittel: Maschinelles Lernen, mathematische Methoden

Affective Computing

Emotionserkennung

Welche Sensoren können verwendet werden?

Welche Merkmale gibt es?

Welche Verfahren gibt es?

Welche Anwendungen gibt es?

Welche Probleme gibt es?

Literatur:Anna Esposito: Verbal and Nonverbal Features of Human-Human and Human-

Machine Interaction; Springer 2008Beverly Park Woolf, Esma Aimeur, Roger Nkambou, Susanne P. Lajoie: Intelligent

Tutoring Systems: Springer 2008Sharifa Alghowinem, Roland Goecke, Michael Wagner, Julien Epps, Michael

Breakspear, Gordon Parker: From Joyous to Clinically Depressed: Mood Detection Using Spontaneous Speech. FLAIRS Conference 2012

Enrique Leon, Graham Clarke, Victor Callaghan, Francisco Sepulveda, A user-independent real-time emotion recognition system for software agents in domestic environments, Engineering Applications of Artificial Intelligence 2007

Andreas Haag; Silke Goronzy; Peter Schaich; Jason Williams. Emotion recognition using Bio-Sensors: First steps towards an automatic system 2004Weitere Literatur muss den jeweiligen Büchern entnommen werden und durch weitere

Recherche ermittelt werden!

Emotionserkennung

Ausdrücken von Emotionen

Welche Modelle gibt es?Welche Anwendungsfelder gibt es?

Reale Roboter vs. virtuelle Agenten?

Welche Hardwareprobleme gilt es zu lösen?

Ausdrücken von Emotionen

Literatur:Shuichi Fukuda: Emotional Engineering. Springer 2011Brent J. Lance, Stacy Marsella; A Model of Gaze for the Purpose of Emotional

Expression in Virtual Embodied Agents. AAMAS 2008H. Chad Lane, Dan Noren, Daniel Auerbach, Mike Birch, William R. Swartout:

Intelligent Tutoring Goes to the Museum in the Big City: A Pedagogical Agent for Informal Science Education. AIED 2011

William R. Swartout: Lessons Learned from Virtual Humans. AI Magazine 2010Karsten Berns, Jochen Hirth: Control of facial expressions of the humanoid robot

head ROMAN. IROS 2006Jochen Hirth, Norbert Schmitz, Karsten Berns: Towards Social Robots: Designing an

Emotion-Based Architecture. Social Robotics 2011

Weitere Literatur muss den jeweiligen Literaturlisten entnommen werden und durch weitere Recherche ermittelt werden!

Modellierung von Emotionen für Entscheidungsprozesse

Welche Modelle gibt es?

Welche Vorteile verspricht die Hinzunahme von Emotionen?

Welche Anwendungsfelder gibt es?

Modellierung von Emotionen für Entscheidungsprozesse

Literatur:Shuichi Fukuda: Emotional Engineering. Springer 2011Salichs, M.A.; Malfaz, M.: A New Approach to Modeling Emotions and Their Use on

a Decision-Making System for Artificial Agents, IEEE Transactions on Affective Computing 2012

Picard, Rosalind W: Affective computing: challenges. International Journal of Human-Computer Studies 2003

Juan Martínez-Miranda, Arantza Aldea: Emotions in human and artificial intelligence. Computers in Human Behavior 2005

Juan D. Velásquez, Cathexis: Modeling emotion-based decision-making, 1997

Weitere Literatur muss den jeweiligen Literaturlisten entnommen werden und durch weitere Recherche ermittelt werden!

Medizinische Bildverarbeitung

Erkennung von Dissektionen der Aorta in CT-Bildern

Schematische Darstellung

Einrisse der Aorteninnenwand: Bildung eines neues, parallelen Blutkanals (falsches Lumen)

Axiale CT-Aufnahme

(mit Kontrastmittel)

Wahres Lumen in gelb, falsches Lumen in blau

(Segmentierungsergebnisse)

Welche Möglichkeiten existieren zur automatisierten Erkennung der beiden Lumina?

Vorgehensweisen bei einer gesunden Hauptschlagader?

Erkennung von Dissektionen der Aorta in CT-Bildern Literatur:

– Kovács, T., Cattin, P., Alkadhi, H., Wildermuth, S., and Székely, G.(2006). Automatic segmentation of the vessel lumen from 3D CTA images of aortic dissection. Bildverarbeitung für die Medizin 2006, 161-165.

– Kovács, T., Cattin, P., Alkadhi, H., Wildermuth, S., and Székely, G. (2006). Automatic segmentation of the aortic dissection membrane from 3D CTA images. Medical Imaging and Augmented Reality, 317-324.

– Saur, S. C., Kühhnel, C., Boskamp, T., Székely, G., and Cattin, P. (2008). Automatic ascending aorta detection in CTA datasets Bildverarbeitung für die Medizin 2008, 323-327.

– Avila-Montes, O. C., Kukure, U., and Kakadiaris, I. A. (2010, March). Aorta segmentation in non-contrast cardiac CT images using an entropy-based cost function. In SPIE Medical Imaging (pp. 76233J-76233J). International Society for Optics and Photonics.

Einzusetzende Mittel: Objekterkennung in CT-Bildern, Tracking, CT

Detektion von Aortenaneurysmen

Herausforderung für die Bildverarbeitung: Separierung der Aorta von anderen angrenzenden Gefäßen sowie Gewebe

Als Folge von z.B. Arteriosklerose (80% der Fälle) erfolgt eine lokalisierte, permanente Erweiterung des Querschnitts von Blutgefäßen => lebensbedrohlicher Riss der Gefäß-wand möglich

Ansätze: Region Growing, Active Shape Models, Hough Transformation für Kreise

Im rechten Bild (CT): eine der beiden Beckenarterien ist infolge eines Aneurysmus stark vergrößert

Detektion von Aortenaneurysmen Literatur:

– Subasic, M., Loncaric, S., and Sorantin, E. (2001, July). 3D image analysis of abdominal aortic aneurysm. In Medical Imaging 2001 (pp. 388-394). International Society for Optics and Photonics.

– Demirci, S., Lejeune, G., and Navab, N. (2009, June). Hybrid deformable model for aneurysm segmentation. In Biomedical Imaging: From Nano to Macro, 2009. ISBI'09. IEEE International Symposium on (pp. 33-36). IEEE.

– De Bruijne, M., Van Ginneken, B., Viergever, M. A., & Niessen, W. J. (2003). Interactive segmentation of abdominal aortic aneurysms in CTA images. Technical Report UU-CS, (2003-011).

Einzusetzende Mittel: Objekterkennung in CT-Bildern, Tracking, Angiographie

Segmentierung durch Morphologie

Welche Anwendungen der Morphologie in der medizinischen Bildverarbeitung?

Segmentierung durch Morphologie Literatur:

– Bouraoui, B., Ronse, C., Baruthio, J., Passat, N., & Germain, P. (2007). Gray-level hit-or-miss transform based region-growing for automatic segmentation of 3D coronary arteries. In International Symposium on Mathematical Morphology (pp. 23-24).

– Bouraoui, B., Ronse, C., Baruthio, J., Passat, N., & Germain, P. (2008, May). Fully automatic 3D segmentation of coronary arteries based on mathematical morphology. In Biomedical Imaging: From Nano to Macro, 2008. ISBI 2008. 5th IEEE International Symposium on (pp. 1059-1062). IEEE.

– Arulmurugan, A., Sharp, D. F. T. A., Murugadass, G., & Kumar, P. S. (2011, September). Performance analysis of labeling technique for coronary arteries in angiogram images. In Electronics, Communication and Computing Technologies (ICECCT), 2011 International Conference on (pp. 96-100). IEEE.

Einzusetzende Mittel: Segmentierung, Morphologie

3D-Objekterkennungstechniken für Blutgefäßstrukturen

… Modellen

… Features

… Extraktionsschemen

Durch gleichzeitige Betrachtung mehrerer CT-Slices erhält man Information zu...

Erscheinungsmodelle: akquisitionsabhängiges Wissen, Distribution der Intensitätswerte

Vorverarbeitung: vessel enhancement filtering, ROI – Festlegung

Ansätze: Bereichs- und Volumenwachstumsverfahren, Fast Marching, Snakes, Level-Sets

3D-Objekterkennungstechniken für BlutgefäßstrukturenLiteratur:

– Lesage, D., Angelini, E. D., Bloch, I., & Funka-Lea, G. (2009). A review of 3D vessel lumen segmentation techniques: Models, features and extraction schemes. Medical Image Analysis, 13(6), 819-845.

– Bouraoui, B., Ronse, C., Baruthio, J., Passat, N., & Germain, P. (2008, May). Fully automatic 3D segmentation of coronary arteries based on mathematical morphology. In Biomedical Imaging: From Nano to Macro, 2008. ISBI 2008. 5th IEEE International Symposium on (pp. 1059-1062). IEEE.

– Kirbas, C., & Quek, F. (2004). A review of vessel extraction techniques and algorithms. ACM Computing Surveys (CSUR), 36(2), 81-121.

– Pohle, R., & Toennies, K. D. (2001, July). Segmentation of medical images using adaptive region growing. In Proc. SPIE Medical Imaging (Vol. 4322, pp. 1337-1346).

Einzusetzende Mittel: Objekterkennung in CT-Bildern, Voxel, Segmentierung

Umweltwahrnehmung und -modellierung

Kinect Fusion

Welche Möglichkeiten?

Welche Erweiterungen?

Funktionsweise?

Vor- und Nachteile?

Einzusetzende Mittel: Optimierung, Geometrie, ICP

Literatur:Shahram Izadi, David Kim, Otmar Hilliges, David Molyneaux, Richard Newcombe,

Pushmeet Kohli, Jamie Shotton, Steve Hodges, Dustin Freeman, Andrew Davison, and Andrew Fitzgibbon: KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera. ACM Symposium on User Interface Software and Technology, October 2011

Richard A. Newcombe, Shahram Izadi, Otmar Hilliges, David Molyneaux, David Kim, Andrew J. Davison, Pushmeet Kohli, Jamie Shotton, Steve Hodges, and Andrew Fitzgibbon: KinectFusion: Real-Time Dense Surface Mapping and Tracking. in IEEE ISMAR, October 2011

Brian Curless and Marc Levoy: A volumetric method for building complex models from range images. In ACM Transactions on Graphics (SIGGRAPH), 1996

Offene Implementierung auf http://pointclouds.org/

Kinect Fusion

Artikulierte Objekte

kinematische Modelle

richtige Zusammenhänge?

Wahrscheinlichkeiten

Einzusetzende Mittel: Kinematik, Wahrscheinlichkeitstheorie, Modellbildung

Artikulierte Objekte

Literatur:

Jürgen Sturm: Approaches to Probabilistic Model Learning for Mobile Manipulation Robots. 2011

Offene Implementierung unter http://www.ros.org/wiki/articulation

Die PhD Thesis enthält ausreichend Referenzen auf weitere Literatur

Simulationsumgebungen

Vergleich von Simulationsumgebungen

Welche Schnittstellen gibt es?

Modellierung von Robotern

Wie funktionieren Simulationsumgebungen? Beleuchtungsmodelle? Physik-Engine?

Modellierung von Objekten

Einzusetzende Mittel: Kinematik, Geometrie

Simulationsumgebungen

Literatur:Die Dokumentationen zu diversen Simulationsumgebungen.z.B.: Gazebo, V-REP, Webots, OpenHRP3