Neuronale Netze Inhalt des Vortrags:
• Aufbau und Funktionsweise des menschlichen Gehirns
• Aufbau eines neuronalen Netzwerks• Trainieren von neuronalen Netzen• Eigenschaften von Neuronalen Netzen• Anwendungsgebiete
Aufbau des menschlichen Gehirns
• Großhirn übernimmt alle höheren Denkfunktionen
• Kleinhirn hält Gleichgewicht aufrecht und koordiniert Muskelbewegungen
• Zwischenhirn steuert Hormonsystem, Ver-bindung zum vegetativen Nervensystem, kontrolliert pH, Temperatur, Blutdruck, biol. Uhr
• Mittelhirn enthält ver-schiedene Bereiche, u.a. Augenbewegung
• Nachhirn kontrolliert grundlegende Funktionen, z.B. Blutzirkulation, Herzschlag, Atmung
Aufbau von NeuronenGehirn besteht aus ca.100 Milliarden Neuronen
• Dendriten nehmen elektrische Impulse auf
• Zellkörper verarbeitet ankommende Impulse
• Nervenfaser (Axon) leitet gefeuerten Impuls weiter
• Synapsen sind die Endknöpfchen des Axons, übertragen Impulse an nächste Zelle
Arbeitsweise von Neuronen+20
-70
0 t
U [mV]
Ruhepotential
Aktionspotential
3 ms
Refraktärphase
• Während Ruhephase im Zellinneren Ruhepotential bei ca. -70 mV• elektr. Feld des ankommenden Impulses öffnet Natriumkanäle → Na+-
Ionen strömen ins Zellinnere → Aktionspotential baut sich auf• Während der Refraktärphase Zelle kaum reizbar• Aktionspotential besitzt in allen Nervenzellen gleiche Form und
Amplitude → Information nur durch zeitliche Impulsdichte bzw. Frequenz kodiert
Elemente eines neuronalen Netzes
neti ai
wij
aj
oi
netj
wkj
wlj
Aktivierungsfunktion: ai(t+1) = fact(ai(t),neti(t),)
mit Schwellwert
Ausgabefunktion: oi = fout(ai)
Propagierungsfunktion: netj(t) = oiwij
Topologie von NN
Eingabeschicht
Verarbeitungsschicht
Ausgabeschicht
Feed forward - Netz
Topologie von NNweitere Typen
Feed forward - Netzmit short cuts
direkte Rückkopplung
indirekte Rückkopplungmit short cuts
laterale Rückkopplung
vollständig verbunden
Beispiel eines neuronalen Netzes: XOR-Gate
1 2
4=0.5
W14 = 1 W24 = 1
W34 = -2
W14 = 1 W24 = 1
3=1.5
sonst
tnetta ii
i 0
)(,1)(
o1 o2 net3 o3 net4 o4 0 0 0·1+0·1=0 0 0·1+0·1+0(-2)=0 0 0 1 0·1+1·1=1 0 0·1+1·1+0(-2)=1 1 1 0 1·1+0·1=1 0 1·1+0·1+0(-2)=1 1 1 1 1·1+1·1=2 1 1·1+1·1+1(-2)=0 0
)()( tato ii
Trainieren von neuronalen Netzen• Entwicklung neuer Zellen oder Verbindungen• Löschen von Zellen oder Verbindungen• Modifikation der Verbindungsstärke (häufigstes Verfahren)• Modifikation der Schwellwerte der Neuronen• Modifikation der Aktivierungs-, Propagierungs oder
Ausgabefunktionen
Arten des Lernens• Überwachtes Lernen: optimale Gewichte werden gesucht bei
gleichzeitiger Präsentation von Eingabe und erwarteter Ausgabe (Vorteil: lernt schnell, Nachteil: nicht biologisch motiviert)
• Bestärkendes Lernen: es wird nur angegeben ob die Ausgabe richtig oder falsch ist (Vorteil: biologisch besser motiviert, Nachteil: langsamer)
• Unüberwachtes Lernen: das Netzwerk findet selbständig die optimale Gewichtung der Verbindungen, durch Einteilung von ähnlichen Eingaben in gleiche Klassen (Vorteil: biologisch am plausibelsten, wurde auch im Gehirn beobachtet, Nachteil: sehr langsam)
Lernregeln(eine kleine Auswahl)
Hebbsche Lernregel (allgemeinste Form):
),(),( jjijiij tagwohw mit der Lernrate η, der erwarteten Aktivierung (teaching input) tj und zwei Funktionen h(.,.) und g(.,.)
jijjiij ootow )(Delta Lernregel:
Die Änderung der Gewichte ist proportional zur Differenz zwischen erwarteter Ausgabe und tatsächlicher Ausgabe
Einige Eigenschaften von NN
• Lernfähigkeit• Parallelität• Verteilte Wissensrepräsenta-
tion → höhere Fehlertoleranz gegenüber Ausfall von Neuronen
• Assosiative Speicherung von Information
• Robustheit gegenüber Rauschen/Störungen
• Fähigkeit zur Verallgemeinerung
• Wissenserwerb nur durch Lernen möglich
• Analyse des eigenen Wissens nicht möglich (keine Introspektion)
• Analyse des Wissens von außen schwer möglich
• Logisches Schließen schwer realisierbar
• Lernen ist relativ langsam
Anwendungen und Ausblicke
• Approximation von Funktionen und Wahrscheinlichkeitsverteilungen
• Vorhersagen von Zeitreihen (z.B. Laserdaten, Finanzdaten )• Klassifizierung/Mustererkennung (z.B. Bilderkennung,
Spracherkennung,Texturanalyse...)• Steuerung autonomer Fahrzeuge (z.B. selbständig fahrende
Autos)