Bildverarbeitung und Machine Learning
Wie funktioniert die Objekterkennung im Gehirn?Die Objekterkennung des Gehirns ist nahezu invariant gegenüber: Translation, Größe, Drehung, Beleuchtung, visuellem Kontext
Gehirnaktivität als Merkmalsvektor
Variationsgrad
Per
form
ance
- SIFT- Visual Words- History of Gradients (HOG)- ...
Vergleich mit State-of-the-Art Methoden
Wie funktioniert die Objekterkennung im Gehirn?Literatur:
– DiCarlo, James J., Davide Zoccolan, and Nicole C. Rust. "How does the brain solve visual object recognition?" Neuron 73.3 (2012): 415-434.
– Vortrag: James DiCarlo, “How the brain solves visual object recognition”, ICCV 2011,http://www.iccv2011.org, Video: http://iccv2011.org/oral_videos/day_3/3-0-keynote2.m4v
– Pinto, Nicolas, et al. "Comparing state-of-the-art visual features on invariant object recognition tasks." Applications of Computer Vision (WACV), 2011 IEEE Workshop on. IEEE, 2011.
Einzusetzende Mittel: Neuronale Strukturen, Objekterkennung aus Bildern
Keypoint-Deskriptor Fast Retina Keypoint (FREAK)
Ziel: Beschreibung von Bildpunkten (Keypoints) zur Wiedererkennung unter Rotation, Skalierung und Helligkeits- und Kontrastveränderung
Bild 1 Bild 2Modell der Retina
Beschreibung des Retina-Modells
Vergleich zu SIFT & SURF
Anwendungen?
Keypoint-Deskriptor Fast Retina Keypoint (FREAK)Literatur:
– Alahi, Alexandre, Raphael Ortiz, and Pierre Vandergheynst. "FREAK: Fast Retina Keypoint." Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.
– Leutenegger, Stefan, Margarita Chli, and Roland Y. Siegwart. "BRISK: Binary robust invariant scalable keypoints." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.
– Bay, Herbert, Tinne Tuytelaars, and Luc Van Gool. "Surf: Speeded up robust features." Computer Vision–ECCV 2006 (2006): 404-417.
– Lowe, David G. "Distinctive image features from scale-invariant keypoints." International journal of computer vision 60.2 (2004): 91-110.
Einzusetzende Mittel: Bildverarbeitung, Bildfilterung
Objekterkennung mit Local Binary Pattern (LBP)
Ziel: Unterscheidung von Objekten in Bildern anhand ihrer Texturen
Unter Variation von Richtung, Helligkeit, Kontrast und Skalierung
Texturdeskriptor: Einfache lokale KontrastverteilungVariantenBasic LBP, Rotation-Invariant LBP, Uniform LBP, LBPV, ...
Anwendungen?
Objekterkennung mit Local Binary Pattern (LBP)Literatur:
– Doshi, Niraj, and Gerald Schaefer. "A comparative analysis of local binary pattern texture classification." Visual Communications and Image Processing (VCIP), 2012 IEEE. IEEE, 2012.
– Ahonen, Timo, Abdenour Hadid, and Matti Pietikäinen. "Face recognition with local binary patterns." Computer Vision-ECCV 2004 (2004): 469-481.
– Ojala, Timo, Matti Pietikainen, and Topi Maenpaa. "Multiresolution gray-scale and rotation invariant texture classification with local binary patterns." Pattern Analysis and Machine Intelligence, IEEE Transactions on 24.7 (2002): 971-987.
– Zhao, Guoying, and Matti Pietikainen. "Dynamic texture recognition using local binary patterns with an application to facial expressions." Pattern Analysis and Machine Intelligence, IEEE Transactions on 29.6 (2007): 915-928.
Einzusetzende Mittel: Bildverarbeitung, Statistik, Klassifikation
Machine Learning mit dem Kernel-Perzeptron
Standard-Perzeptron: Einfaches, künstliches neuronales Netz Separiert linear trennbare Daten
Einfacher Online-Lernregel
Komplexe Trennebenen durch Kombination mit Kernelfunktionen
Vergleich von Varianten
- Kernel-Perceptron- Forgetron - Fuseptron- Projectron ++
Machine Learning mit dem Kernel-PerzeptronLiteratur:
– Freund, Yoav, and Robert E. Schapire. "Large margin classification using the perceptron algorithm." Machine learning 37.3 (1999): 277-296.
– Orabona, Francesco, Joseph Keshet, and Barbara Caputo. "The projectron: a bounded kernel-based Perceptron." Proceedings of the 25th international conference on Machine learning. ACM, 2008.
– Cavallanti, Giovanni, Nicolò Cesa-Bianchi, and Claudio Gentile. "Tracking the best hyperplane with a simple budget perceptron." Machine Learning 69.2 (2007): 143-167.
– Dekel, Ofer, Shai Shalev-Shwartz, and Yoram Singer. "The Forgetron: A kernel-based perceptron on a fixed budget." (2005).
– He, Huijun, Mingmin Chi, and Wenqiang Zhang. "A kernel fused perceptron for the online classification of large-scale data." Proceedings of the 1st International Workshop on Big Data, Streams and Heterogeneous Source Mining, ACM, 2012.
Einzusetzende Mittel: Maschinelles Lernen, mathematische Methoden
Affective Computing
Emotionserkennung
Welche Sensoren können verwendet werden?
Welche Merkmale gibt es?
Welche Verfahren gibt es?
Welche Anwendungen gibt es?
Welche Probleme gibt es?
Literatur:Anna Esposito: Verbal and Nonverbal Features of Human-Human and Human-
Machine Interaction; Springer 2008Beverly Park Woolf, Esma Aimeur, Roger Nkambou, Susanne P. Lajoie: Intelligent
Tutoring Systems: Springer 2008Sharifa Alghowinem, Roland Goecke, Michael Wagner, Julien Epps, Michael
Breakspear, Gordon Parker: From Joyous to Clinically Depressed: Mood Detection Using Spontaneous Speech. FLAIRS Conference 2012
Enrique Leon, Graham Clarke, Victor Callaghan, Francisco Sepulveda, A user-independent real-time emotion recognition system for software agents in domestic environments, Engineering Applications of Artificial Intelligence 2007
Andreas Haag; Silke Goronzy; Peter Schaich; Jason Williams. Emotion recognition using Bio-Sensors: First steps towards an automatic system 2004Weitere Literatur muss den jeweiligen Büchern entnommen werden und durch weitere
Recherche ermittelt werden!
Emotionserkennung
Ausdrücken von Emotionen
Welche Modelle gibt es?Welche Anwendungsfelder gibt es?
Reale Roboter vs. virtuelle Agenten?
Welche Hardwareprobleme gilt es zu lösen?
Ausdrücken von Emotionen
Literatur:Shuichi Fukuda: Emotional Engineering. Springer 2011Brent J. Lance, Stacy Marsella; A Model of Gaze for the Purpose of Emotional
Expression in Virtual Embodied Agents. AAMAS 2008H. Chad Lane, Dan Noren, Daniel Auerbach, Mike Birch, William R. Swartout:
Intelligent Tutoring Goes to the Museum in the Big City: A Pedagogical Agent for Informal Science Education. AIED 2011
William R. Swartout: Lessons Learned from Virtual Humans. AI Magazine 2010Karsten Berns, Jochen Hirth: Control of facial expressions of the humanoid robot
head ROMAN. IROS 2006Jochen Hirth, Norbert Schmitz, Karsten Berns: Towards Social Robots: Designing an
Emotion-Based Architecture. Social Robotics 2011
Weitere Literatur muss den jeweiligen Literaturlisten entnommen werden und durch weitere Recherche ermittelt werden!
Modellierung von Emotionen für Entscheidungsprozesse
Welche Modelle gibt es?
Welche Vorteile verspricht die Hinzunahme von Emotionen?
Welche Anwendungsfelder gibt es?
Modellierung von Emotionen für Entscheidungsprozesse
Literatur:Shuichi Fukuda: Emotional Engineering. Springer 2011Salichs, M.A.; Malfaz, M.: A New Approach to Modeling Emotions and Their Use on
a Decision-Making System for Artificial Agents, IEEE Transactions on Affective Computing 2012
Picard, Rosalind W: Affective computing: challenges. International Journal of Human-Computer Studies 2003
Juan Martínez-Miranda, Arantza Aldea: Emotions in human and artificial intelligence. Computers in Human Behavior 2005
Juan D. Velásquez, Cathexis: Modeling emotion-based decision-making, 1997
Weitere Literatur muss den jeweiligen Literaturlisten entnommen werden und durch weitere Recherche ermittelt werden!
Medizinische Bildverarbeitung
Erkennung von Dissektionen der Aorta in CT-Bildern
Schematische Darstellung
Einrisse der Aorteninnenwand: Bildung eines neues, parallelen Blutkanals (falsches Lumen)
Axiale CT-Aufnahme
(mit Kontrastmittel)
Wahres Lumen in gelb, falsches Lumen in blau
(Segmentierungsergebnisse)
Welche Möglichkeiten existieren zur automatisierten Erkennung der beiden Lumina?
Vorgehensweisen bei einer gesunden Hauptschlagader?
Erkennung von Dissektionen der Aorta in CT-Bildern Literatur:
– Kovács, T., Cattin, P., Alkadhi, H., Wildermuth, S., and Székely, G.(2006). Automatic segmentation of the vessel lumen from 3D CTA images of aortic dissection. Bildverarbeitung für die Medizin 2006, 161-165.
– Kovács, T., Cattin, P., Alkadhi, H., Wildermuth, S., and Székely, G. (2006). Automatic segmentation of the aortic dissection membrane from 3D CTA images. Medical Imaging and Augmented Reality, 317-324.
– Saur, S. C., Kühhnel, C., Boskamp, T., Székely, G., and Cattin, P. (2008). Automatic ascending aorta detection in CTA datasets Bildverarbeitung für die Medizin 2008, 323-327.
– Avila-Montes, O. C., Kukure, U., and Kakadiaris, I. A. (2010, March). Aorta segmentation in non-contrast cardiac CT images using an entropy-based cost function. In SPIE Medical Imaging (pp. 76233J-76233J). International Society for Optics and Photonics.
Einzusetzende Mittel: Objekterkennung in CT-Bildern, Tracking, CT
Detektion von Aortenaneurysmen
Herausforderung für die Bildverarbeitung: Separierung der Aorta von anderen angrenzenden Gefäßen sowie Gewebe
Als Folge von z.B. Arteriosklerose (80% der Fälle) erfolgt eine lokalisierte, permanente Erweiterung des Querschnitts von Blutgefäßen => lebensbedrohlicher Riss der Gefäß-wand möglich
Ansätze: Region Growing, Active Shape Models, Hough Transformation für Kreise
Im rechten Bild (CT): eine der beiden Beckenarterien ist infolge eines Aneurysmus stark vergrößert
Detektion von Aortenaneurysmen Literatur:
– Subasic, M., Loncaric, S., and Sorantin, E. (2001, July). 3D image analysis of abdominal aortic aneurysm. In Medical Imaging 2001 (pp. 388-394). International Society for Optics and Photonics.
– Demirci, S., Lejeune, G., and Navab, N. (2009, June). Hybrid deformable model for aneurysm segmentation. In Biomedical Imaging: From Nano to Macro, 2009. ISBI'09. IEEE International Symposium on (pp. 33-36). IEEE.
– De Bruijne, M., Van Ginneken, B., Viergever, M. A., & Niessen, W. J. (2003). Interactive segmentation of abdominal aortic aneurysms in CTA images. Technical Report UU-CS, (2003-011).
Einzusetzende Mittel: Objekterkennung in CT-Bildern, Tracking, Angiographie
Segmentierung durch Morphologie
Welche Anwendungen der Morphologie in der medizinischen Bildverarbeitung?
Segmentierung durch Morphologie Literatur:
– Bouraoui, B., Ronse, C., Baruthio, J., Passat, N., & Germain, P. (2007). Gray-level hit-or-miss transform based region-growing for automatic segmentation of 3D coronary arteries. In International Symposium on Mathematical Morphology (pp. 23-24).
– Bouraoui, B., Ronse, C., Baruthio, J., Passat, N., & Germain, P. (2008, May). Fully automatic 3D segmentation of coronary arteries based on mathematical morphology. In Biomedical Imaging: From Nano to Macro, 2008. ISBI 2008. 5th IEEE International Symposium on (pp. 1059-1062). IEEE.
– Arulmurugan, A., Sharp, D. F. T. A., Murugadass, G., & Kumar, P. S. (2011, September). Performance analysis of labeling technique for coronary arteries in angiogram images. In Electronics, Communication and Computing Technologies (ICECCT), 2011 International Conference on (pp. 96-100). IEEE.
Einzusetzende Mittel: Segmentierung, Morphologie
3D-Objekterkennungstechniken für Blutgefäßstrukturen
… Modellen
… Features
… Extraktionsschemen
Durch gleichzeitige Betrachtung mehrerer CT-Slices erhält man Information zu...
Erscheinungsmodelle: akquisitionsabhängiges Wissen, Distribution der Intensitätswerte
Vorverarbeitung: vessel enhancement filtering, ROI – Festlegung
Ansätze: Bereichs- und Volumenwachstumsverfahren, Fast Marching, Snakes, Level-Sets
3D-Objekterkennungstechniken für BlutgefäßstrukturenLiteratur:
– Lesage, D., Angelini, E. D., Bloch, I., & Funka-Lea, G. (2009). A review of 3D vessel lumen segmentation techniques: Models, features and extraction schemes. Medical Image Analysis, 13(6), 819-845.
– Bouraoui, B., Ronse, C., Baruthio, J., Passat, N., & Germain, P. (2008, May). Fully automatic 3D segmentation of coronary arteries based on mathematical morphology. In Biomedical Imaging: From Nano to Macro, 2008. ISBI 2008. 5th IEEE International Symposium on (pp. 1059-1062). IEEE.
– Kirbas, C., & Quek, F. (2004). A review of vessel extraction techniques and algorithms. ACM Computing Surveys (CSUR), 36(2), 81-121.
– Pohle, R., & Toennies, K. D. (2001, July). Segmentation of medical images using adaptive region growing. In Proc. SPIE Medical Imaging (Vol. 4322, pp. 1337-1346).
Einzusetzende Mittel: Objekterkennung in CT-Bildern, Voxel, Segmentierung
Umweltwahrnehmung und -modellierung
Kinect Fusion
Welche Möglichkeiten?
Welche Erweiterungen?
Funktionsweise?
Vor- und Nachteile?
Einzusetzende Mittel: Optimierung, Geometrie, ICP
Literatur:Shahram Izadi, David Kim, Otmar Hilliges, David Molyneaux, Richard Newcombe,
Pushmeet Kohli, Jamie Shotton, Steve Hodges, Dustin Freeman, Andrew Davison, and Andrew Fitzgibbon: KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera. ACM Symposium on User Interface Software and Technology, October 2011
Richard A. Newcombe, Shahram Izadi, Otmar Hilliges, David Molyneaux, David Kim, Andrew J. Davison, Pushmeet Kohli, Jamie Shotton, Steve Hodges, and Andrew Fitzgibbon: KinectFusion: Real-Time Dense Surface Mapping and Tracking. in IEEE ISMAR, October 2011
Brian Curless and Marc Levoy: A volumetric method for building complex models from range images. In ACM Transactions on Graphics (SIGGRAPH), 1996
Offene Implementierung auf http://pointclouds.org/
Kinect Fusion
Artikulierte Objekte
kinematische Modelle
richtige Zusammenhänge?
Wahrscheinlichkeiten
Einzusetzende Mittel: Kinematik, Wahrscheinlichkeitstheorie, Modellbildung
Artikulierte Objekte
Literatur:
Jürgen Sturm: Approaches to Probabilistic Model Learning for Mobile Manipulation Robots. 2011
Offene Implementierung unter http://www.ros.org/wiki/articulation
Die PhD Thesis enthält ausreichend Referenzen auf weitere Literatur
Simulationsumgebungen
Vergleich von Simulationsumgebungen
Welche Schnittstellen gibt es?
Modellierung von Robotern
Wie funktionieren Simulationsumgebungen? Beleuchtungsmodelle? Physik-Engine?
Modellierung von Objekten
Einzusetzende Mittel: Kinematik, Geometrie
Simulationsumgebungen
Literatur:Die Dokumentationen zu diversen Simulationsumgebungen.z.B.: Gazebo, V-REP, Webots, OpenHRP3