Neuronale Netze

Von Kay-Patrick Wittbold

BESTANDTEILE

Natürliches Neuron

• Zellkörper bis 0,25mm Größe• Bilden Ausläufer mit dicken Enden, die sogenannten

Synapsen• Dendriten: Eingangssignal• Axone: Ausgangssignal• Synapsen sorgen für die Weiterleitung von Reizen• Arbeitet mit Ionen zur Steuerung des Signals

(Schwellenwert muss überschritten werden damit Neuron „feuert“)

• Im Gehirn zwischen 100 Milliarden und 1 Billionen

100µm

Künstliches Neuron

• Eingabevektor x• Gewichtsvektor w• Aktivierungsfunktion gibt an wie sich ein

neuer Aktivierungszustand aus Eingabe, Netzeingabe und Schwellenwert ergibt

• Ausgabefunktion bestimmt aus der Aktivierung die Ausgabe des Neurons

• In künstlichen Neuronalen Netzen zwischen 10² und 104

Gewichtung

• wij=0 bedeutet keine Verbindung von Neuron i zu Neuron j

• wij<0 bedeutet hemmende Verbindung von Neuron i zu Neuron j

• wij>0 bedeutet anregende Verbindung von Neuron i zu Neuron j

Schwellenwert

• S-förmige Funktionen (Sigmoide Funktionen)• Häufig verwendet:

• Aber auch binäre Schwellenwertfunktion

xe11 )tanh(x

NEURONALE NETZE

Künstliche Neuronale Netze (KNN)

• Besteht aus künstlichen Neuronen• Verbindungsnetzwerk der Zellen (gerichteter,

gewichteter Graph)• Propagierungsfunktion: gewichtete Summe

der Ausgaben der Vorgängerzelle• Lernregel: Algorithmus, nach dem das Netz

lernt, für eine vorgegebene Eingabe eine gewünschte Ausgabe zu produzieren

Exkurs Graphentheorie

Gerichteter Graph

Gewichteter Graph

Gerichteter, gewichteter Graph

Künstliches Neuronales Netz

• Gerichteter, gewichteter Graph mit Neuronen als Knoten, Verbindungen als Kanten

• Neuronen haben beliebig viele Verbindungen untereinander

• Neuronen können nur eine Ausgabe senden, beliebig viele Eingaben erhalten

Arten Neuronaler Netze

• Netze ohne Rückkopplung– Ebenenweise verbunden– Allgemein

• Netze mit Rückkopplung– Direkte Rückkopplung– Indirekte– Rückkopplung innerhalb einer Schicht– Vollständig verbundene

Abstraktes Beispiel

Abstraktes Beispiel1 2 3 4 5 6 7

1 -0,8 0,3

2 0,1 0,7 0,2

3 -0,3

4 -0,4

5 0,5

6 0,6

7

Konkretes Beispiel AND

Konkretes Beispiel AND

• Eingabe: binär (1 oder 0)• Gewichtungsvektor (1,1)• Schwellenwert 2• Ausgabe: 1, falls

Eingabe1*Gewichtung1+Eingabe2*Gewichtung2 >=2; sonst 0

Konkretes Beispiel OR

Konkretes Beispiel OR

• Eingabe: binär (1 oder 0)• Gewichtungsvektor (1,1)• Schwellenwert 1• Ausgabe: 1, falls

Eingabe1*Gewichtung1+Eingabe2*Gewichtung2 >=1; sonst 0

Modellierung des Lernens

• Entwicklung neuer Verbindungen • Löschen existierender Verbindungen • Modifikation der Verbindungsstärke

(Veränderung der Gewichte) • Modifikation des Schwellenwertes • Modifikation der Aktivierungs- bzw.

Ausgabefunktion • Entwicklung neuer Zellen • Löschen bestehender Zellen

Modellierung des Lernens

• Überwachtes Lernen (Backpropagation)• Bestärkendes Lernen• Unüberwachtes Lernen

Nachteile Neuronaler Netze

• Training• Trainingsdaten• Vermeidung von auswendig lernen von Daten• Präsentation der Trainingsdaten muss

problemangepasst sein

Quellen

• http://wwwmath.uni-muenster.de/num/Vorlesungen/MedizinUndMathematik/

• http://de.wikipedia.org/w/index.php?title=Datei:PLoSBiol4.e126.Fig6fNeuron.jpg&filetimestamp=20080131213023

• http://www.greenspine.ca/en/mGFP_neuron2.html

• http://de.wikipedia.org/wiki/Datei:ArtificialNeuronModel_deutsch.png