Anwendungsperspektiven

Anwendungsfelder

Netzauswahl, Anpassungen, Visualisierungen,Zeitrepräsentation

REM I II III

Version 04.1

Heinrich Werner Anwendung 2

künstliche Neuronale NetzwerkeNeuronale Netzwerke als Computerprogramme, die die

Arbeitsweise natürlicher Neuronen nachahmen.• Zwecke dieser Programme können sein

– Modellierung tatsächlicher neuronaler Vorgänge in der Biologie – Einsatz der Möglichkeiten neuronaler Systeme in größeren

Computerprogrammen

• Die Arbeitsweise ist bestimmt durch – massiv parallele Informationsverarbeitung in den Neuronen – Propagierung der Informationen über die Synapsen

(Neuronenverbindungen) – Vorbereitung der Netze in der Aufbauphase (Netztopologie)

ihre Trainingsphase (kein Programmieren!)und ihre Arbeitsphase (Propagierung)

Version 04.1

Heinrich Werner Anwendung 3

Besonders geeignet, wenn

• die Anzahl der Parameter sehr groß ist.• die statistische Verteilung der Parameter

unbekannt ist.• Zusammenhänge zwischen den Parametern

unterstellt werden müssen, aber quantitativ unbekannt sind.

• numerische Zusammenhänge bekannt, aber für eine effektive Berechnung zu komplex sind.

Version 04.1

Heinrich Werner Anwendung 4

Fluch der Dimension

• Eine hohe Parameterzahl verursacht ein ernstes Problem, weil dann eine große Anzahl von Eingabe-Vektoren (samples) benötigt wird, um den Eingaberaum einigermaßen dicht abzutasten.

• Wenn nicht ein deutliches Vielfaches der Dimension als Sample-Anzahl vorliegt, muß erwartet werden, daß ganze Bereiche des Eingaberaums nicht modelliert werden.

Version 04.1

Heinrich Werner Anwendung 5

Anwendungsgebiete• Mustererkennung

Handschrift-Erkennung / Spracherkennung / optische Musterkassifikation / EEG-Klassifikation. 

• Codierung / VisualisierungBildkompression / Sprachsynthese / Rauschfilter / Mapping z.B. in der Medizin. 

• KontrolleQualitätskontrolle (optisch, akustisch) / Robotersteuerung / Navigation / Schadens-Diagnostik / EEG-Überwachung. 

• OptimierungParametervariation in Fertigungsprozessen / TSP-Probleme / Scheduling-Probleme). 

Version 04.1

Heinrich Werner Anwendung 6

Mustererkennung• Mustererkennung, ein Gebiet das klassischen Rechnern

erhebliche Probleme bereitet.

• Betrachtet man z.B. das Parkettierungsproblem, mit den 12 Pentominos (zusammenhängende Spielsteine aus 5 Quadraten) eine Rechteckige Fläche von 5x12 bzw. 6x10 Quadraten zu überdecken, so sieht man eine deutliche Überlegenheit des menschlichen Gehirns gegenüber einem herkömmlichen Computerprogramm

Version 04.1

Heinrich Werner Anwendung 7

Das Problem der zwei Spiralen Aber auch bei ganz eindeutigen Mustererkennungs-

problemen können natürliche Neuronale Netze ihre Probleme haben

Version 04.1

Heinrich Werner Anwendung 8

lange Trainingszeiten• Eine große Anzahl von Trainingsdurchläufen ist

notwendig.• Da beim Training der Auswertungsfehler minimiert

wird, bleiben viele Verfahren in lokalen (Fehler-) Minima stecken, ohne den minimalen Fehler zu erreichen.

• Wegen der lokalen Minima müssen eventuell viele Serien gestartet werden. 

• Bei hoher Anzahl von Verbindungen steigt die Anzahl der Trainingsdurchläufe unverhältnismäßig stark an.

Version 04.1

Heinrich Werner Anwendung 9

Lernerfolg bleibt aus, wenn

• Man einen zu ineffektiven Lernalgorithmus für das Problem hat.

• oder in einem lokalen Minimum eingefangen wird (schlechte Anfangsbedingung).

• oder ein zu groß gewordenes Verbindungsgewicht die nachfolgenden Neuronen paralysiert. 

• oder die Netztopologie prinzipiell für das Problem ungeeignet ist (globales Minimum zu groß). 

• oder die Aufgabe prinzipiell unlösbar ist (zu große Widersprüche).

Version 04.1

Heinrich Werner Anwendung 10

Overfitting• wenn die Testdaten zu große Unterschiede zu den

Trainingsdaten haben (garbage in, garbage out). 

• Bei zu langen Trainingsläufen sinkt die Generalisierungsfähigkeit. 

• Zu viele verborgene Neuronen führen zu bloßem Auswendiglernen ohne Generalisierungsfähigkeit.

Version 04.1

Heinrich Werner Anwendung 11

Black Box Verhalten

• Die Information über das Netzverhalten ist in den Synapsengewichten codiert und auf das gesamte Netzwerk verteilt. 

• Das Netzwerk gibt auf jede Eingabe eine Antwort, gleichgültig ob es auf ähnliche Eigaben trainiert wurde oder nicht. 

• Es gibt keine unmittelbare Möglichkeit, einem Neuronalen Netzwerk Gesetze, Regeln oder Rechenvorschriften einzugeben.

Version 04.1

Heinrich Werner Anwendung 12

Konsequenzen• Neuronale Netze sind ungeeignet für deterministische Aufgaben (Regeln, Berechnungen, absolute Fehlerfreiheit). 

• Es ist besser kleine Neuronale Netze zu verwenden(kurze Trainingszeiten / geringe Gefahr des Auswendiglernens / gute

Generalisierungsfähigkeit / gut analysierbar). 

• Redundanz in den Outputs verwenden(gute Unterscheidung von klaren und unsicheren Entscheidungen des Netzwerks / gute

Überprüfung der Reaktion des Netzwerks auf untrainierte Inputs / gute Erkennung der für das Netzwerk neuen Situationen :Novelty-Filter). 

• Vorverarbeitung gut planen(Entwicklung geeigneter Trainings- und Test-Dateien aus den vorliegenden Daten /

Umwandlung großer Input-Vektoren in (evtl. mehrere) kleine Input-Vektoren für kleine Netze / klassische Filtermethoden bei vorliegenden Hypothesen über Verteilungen und Rauschverhalten). 

• Modularisierung des Netzwerks(Aufbau des Gesamtsystems aus Teilen mit verschiedenen Einzelaufgaben wie etwa:

Vorverarbeitungen, Regelverarbeitungen, Berechnungen / klassischer top-down-Entwurf eines hybriden Systems, in dem Netze und klassische Programmteile realisiert werden.).

Version 04.1

Heinrich Werner Anwendung 13

VorverarbeitungIn allen Anwendungssituationen ist eine mehr oder weniger

aufwendige Aufarbeitung der vorhandenen Daten nötig.• Verschiedene Eingabeparameter müssen auf etwa

übereinstimmende Größenordnungen normiert werden, damit nicht ein Parameter alle übrigen dominiert.

• Korrelationen zwischen verschiedenen Parametern sollten eliminiert werden.

• wiederkehrende Datenkonstellationen (Features) sollten vorab erkannt und klassifiziert werden.

• Periodisches Zeitverhalten kann vorab durch Fourier-Analyse und Ähnliches bestimmt werden.

Version 04.1

Heinrich Werner Anwendung 14

unterwiesenes Training

• Training mit Lehrer modelliert ein bestimmtes Ein-Ausgabe-Verhalten.

• Der Erfolg hängt wesentlich von der Funktionalität der modellierten Daten ab.

• Im nicht funktionalen Fall kann eine Rückkopplung (interne Zustände) eine Verbesserung der Modellierung erreichen.

Version 04.1

Heinrich Werner Anwendung 15

Funktionales Verhalten• Ein nicht rückgekoppeltes Netzwerk mit Ein- und Ausgabe

stellt immer eine Funktion dar.• Sind die Trainingsdaten nicht funktional (widersprüchlich,

es gibt sehr ähnliche Inputs mit sehr unterschiedlichen Outputs) so muss entschieden werden, wie damit umgegangen werden soll:– Soll zwischen den möglichen Outputs gemittelt werden?– Soll eine Begrenzung der Abweichung von den trainierten Daten

erzwungen werden?– Soll nur eine Klassifikation der Eingaben erzeugt werden, ggf. mit

einem Intervall möglicher Outputs?– …

Version 04.1

Heinrich Werner Anwendung 16

nicht funktionales Verhalten

Wir unterstellen meist, dass der Output durch den Input bestimmt ist, dies kann aber aus verschiedenen Gründen gestört sein– Der Input erfaßt nicht alle für den Output

relevanten Parameter (verborgene Parameter)– Der Output hängt nicht eindeutig von den

Eingaben ab (relationaler Zusammenhang)– Es gibt innere Zustände des Systems, nach denen

sich der Output richtet.

Version 04.1

Heinrich Werner Anwendung 17

Modellierung durch Klassifikation

• Nicht funktionales Verhalten kann man modellieren, indem man, statt ein Ein-Ausgabe-Verhalten zu untersuchen, die Eingaben in unterschiedliche Klassen einteilt, für die das Verhalten ungefähr gleich ist

• In diesem Fall kann ein Training nur selbstorganisiert sein, weil von einem Soll-Output oder „richtigen“ Output nicht die Rede sein kann.

Version 04.1

Heinrich Werner Anwendung 18

Das Black-Box Problem Ein NN gibt auf jeden Input eine Antwort, aber

ohne Begründung. Es gibt also folgende Fälle. Ein Input-Response ist:

1. richtig2. ungenau, weil ähnliche Trainingsdaten eine

hohe Streuung bei den Ausgaben hatten3. Falsch/richtig, weil/obwohl das Netz nie etwas

ähnliches trainiert hat4. falsch, weil im Training mehrere

widersprüchliche Daten trainiert wurden

Version 04.1

Heinrich Werner Anwendung 19

öffnen der Black Box

Es gibt Methoden, dem NN anzusehen, wie „sicher“ es sich seiner Antwort ist.

1. Ausgaben haben stets eine feste Struktur, eine Abweichung deutet einen Fehler an

2. Trennung von Input und Output mit einer Analyse der Dichte von Trainingsdaten um den Input und der Streuung von deren Outputs

Version 04.1

Heinrich Werner Anwendung 20

Output-Struktur• Statt z.B. ein Antwortverhalten

ja / unentschieden / nein mit einem Neuron und den Outputs 1 / 0,5 / 0 abzubilden,

(Alle Ausgaben des Neurons sind sinnvoll interpretierbar)

• kann man drei Output-Neuronen wählen mit den möglichen Antworten 100 / 010 / 001.

(Weicht ein Output stark von der Form „Einheitsvektor“ ab, kann angenommen werden, daß das Netz auf den aktuellen Input nicht genügend trainiert wurde.)

??

Version 04.1

Heinrich Werner Anwendung 21

Trennung von Input und OutputDie folgenden Argumente sprechen dafür,

vor dem Training der Ausgabedaten eine Analyse der Eingabedaten getrennt vorzunehmen

• Eine getrennte Analyse der Eingaben kann wertvolle Hinweise auf die Struktur der Daten liefern

• Vorverarbeitungen und Dimensionsreduktionen können in diese Phase eingebracht werden.

• Oft können Eingabedaten in beliebig großer Zahl einfach beschafft werden, wogegen die zugehörigen Bewertungen (Target Outputs) nur schwer zu erzeugen sind und daher nur für einen Bruchteil der Inputs vorliegen.

Version 04.1

Heinrich Werner Anwendung 22

Gefahren der TrennungNachteil: Ungleiche Dichte von Meßpunkten

kann zu Missinterpretationen führen

Dies kann zum Teil dadurch aufgefangen werden, daß Training nach Input und Output im Wechsel durchgeführt werden, anstatt sie völlig zu trennen.

Bsp.: Die Häufigkeits-verteilung der Meßpunkte in x-Richtung suggeriert das Glockenzentrum zu weit rechts und liefert deshalb eine schlechte Approximation.

Version 04.1

Heinrich Werner Anwendung 23

Trainingserfolg ablesen• Z.B. bei Kohonen netzen lässt sich aus der Reaktion des

Netzes die Güte des Trainingserfolges ablesen, wenn man nicht nur die Aktivierung des Siegers darstellt.

gute Aktivierung schlechte Aktivierung

Version 04.1

Heinrich Werner Anwendung 24

Problem der Zeitrepräsentation

• Insbesondere bei Prognose-Aufgaben spielt die zeitliche Abfolge der Eingaben oft eine wesentliche Rolle.

• Outputs hängen nicht allein vom Input, sondern auch von der Historie der bisherigen Inputs ab.

• Wie lassen sich Zeitreihen in neuronalen Netzwerken modellieren?

Version 04.1

Heinrich Werner Anwendung 25

Interne Zustände

Durch Rückkopplungen lassen sich bisherige Netzaktivitäten (als Zustände) speichern und bei neuen Eingaben zur Propagierung verwerten. Beispiele:– Jordan-/ Ellmann- Netzwerke

mit nicht trainierbaren Rückkopplungen– Hopfield Netze, BAM

mit trainierbaren Rückkopplungen

Version 04.1

Heinrich Werner Anwendung 26

Zeitfenster

• Nimmt man nur einen kurzzeitigen Einfluß vergangener Inputs an, so kann man statt eines einzelnen Inputs eine feste Anzahl k von aufeinanderfolgenden Inputs trainieren.

• Nachteil: Die Dimension des Inputs vervielfacht sich um den Faktor k, während die Anzahl der Samples sich reduziert. (Fluch der Dimension)

Version 04.1

Heinrich Werner Anwendung 27

Fourier-Transformation

• Unterstellt man den Meßreihen periodisches Verhalten, so kann man die entsprechenden Perioden über eine Fourier-Transformation ermitteln.

• Trainiert man nun (auch) mit den Transformierten Zeitreihen, so werden diese periodischen Zeiteffekte gelernt.