Neuronale Netze Inhalt des Vortrags:

• Aufbau und Funktionsweise des menschlichen Gehirns

• Aufbau eines neuronalen Netzwerks• Trainieren von neuronalen Netzen• Eigenschaften von Neuronalen Netzen• Anwendungsgebiete

Aufbau des menschlichen Gehirns

• Großhirn übernimmt alle höheren Denkfunktionen

• Kleinhirn hält Gleichgewicht aufrecht und koordiniert Muskelbewegungen

• Zwischenhirn steuert Hormonsystem, Ver-bindung zum vegetativen Nervensystem, kontrolliert pH, Temperatur, Blutdruck, biol. Uhr

• Mittelhirn enthält ver-schiedene Bereiche, u.a. Augenbewegung

• Nachhirn kontrolliert grundlegende Funktionen, z.B. Blutzirkulation, Herzschlag, Atmung

Aufbau von NeuronenGehirn besteht aus ca.100 Milliarden Neuronen

• Dendriten nehmen elektrische Impulse auf

• Zellkörper verarbeitet ankommende Impulse

• Nervenfaser (Axon) leitet gefeuerten Impuls weiter

• Synapsen sind die Endknöpfchen des Axons, übertragen Impulse an nächste Zelle

Arbeitsweise von Neuronen+20

-70

0 t

U [mV]

Ruhepotential

Aktionspotential

3 ms

Refraktärphase

• Während Ruhephase im Zellinneren Ruhepotential bei ca. -70 mV• elektr. Feld des ankommenden Impulses öffnet Natriumkanäle → Na+-

Ionen strömen ins Zellinnere → Aktionspotential baut sich auf• Während der Refraktärphase Zelle kaum reizbar• Aktionspotential besitzt in allen Nervenzellen gleiche Form und

Amplitude → Information nur durch zeitliche Impulsdichte bzw. Frequenz kodiert

Elemente eines neuronalen Netzes

neti ai

wij

aj

oi

netj

wkj

wlj

Aktivierungsfunktion: ai(t+1) = fact(ai(t),neti(t),)

mit Schwellwert

Ausgabefunktion: oi = fout(ai)

Propagierungsfunktion: netj(t) = oiwij

Topologie von NN

Eingabeschicht

Verarbeitungsschicht

Ausgabeschicht

Feed forward - Netz

Topologie von NNweitere Typen

Feed forward - Netzmit short cuts

direkte Rückkopplung

indirekte Rückkopplungmit short cuts

laterale Rückkopplung

vollständig verbunden

Beispiel eines neuronalen Netzes: XOR-Gate

1 2

4=0.5

W14 = 1 W24 = 1

W34 = -2

W14 = 1 W24 = 1

3=1.5

sonst

tnetta ii

i 0

)(,1)(

o1 o2 net3 o3 net4 o4 0 0 0·1+0·1=0 0 0·1+0·1+0(-2)=0 0 0 1 0·1+1·1=1 0 0·1+1·1+0(-2)=1 1 1 0 1·1+0·1=1 0 1·1+0·1+0(-2)=1 1 1 1 1·1+1·1=2 1 1·1+1·1+1(-2)=0 0

)()( tato ii

Trainieren von neuronalen Netzen• Entwicklung neuer Zellen oder Verbindungen• Löschen von Zellen oder Verbindungen• Modifikation der Verbindungsstärke (häufigstes Verfahren)• Modifikation der Schwellwerte der Neuronen• Modifikation der Aktivierungs-, Propagierungs oder

Ausgabefunktionen

Arten des Lernens• Überwachtes Lernen: optimale Gewichte werden gesucht bei

gleichzeitiger Präsentation von Eingabe und erwarteter Ausgabe (Vorteil: lernt schnell, Nachteil: nicht biologisch motiviert)

• Bestärkendes Lernen: es wird nur angegeben ob die Ausgabe richtig oder falsch ist (Vorteil: biologisch besser motiviert, Nachteil: langsamer)

• Unüberwachtes Lernen: das Netzwerk findet selbständig die optimale Gewichtung der Verbindungen, durch Einteilung von ähnlichen Eingaben in gleiche Klassen (Vorteil: biologisch am plausibelsten, wurde auch im Gehirn beobachtet, Nachteil: sehr langsam)

Lernregeln(eine kleine Auswahl)

Hebbsche Lernregel (allgemeinste Form):

),(),( jjijiij tagwohw mit der Lernrate η, der erwarteten Aktivierung (teaching input) tj und zwei Funktionen h(.,.) und g(.,.)

jijjiij ootow )(Delta Lernregel:

Die Änderung der Gewichte ist proportional zur Differenz zwischen erwarteter Ausgabe und tatsächlicher Ausgabe

Einige Eigenschaften von NN

• Lernfähigkeit• Parallelität• Verteilte Wissensrepräsenta-

tion → höhere Fehlertoleranz gegenüber Ausfall von Neuronen

• Assosiative Speicherung von Information

• Robustheit gegenüber Rauschen/Störungen

• Fähigkeit zur Verallgemeinerung

• Wissenserwerb nur durch Lernen möglich

• Analyse des eigenen Wissens nicht möglich (keine Introspektion)

• Analyse des Wissens von außen schwer möglich

• Logisches Schließen schwer realisierbar

• Lernen ist relativ langsam

Anwendungen und Ausblicke

• Approximation von Funktionen und Wahrscheinlichkeitsverteilungen

• Vorhersagen von Zeitreihen (z.B. Laserdaten, Finanzdaten )• Klassifizierung/Mustererkennung (z.B. Bilderkennung,

Spracherkennung,Texturanalyse...)• Steuerung autonomer Fahrzeuge (z.B. selbständig fahrende

Autos)