+ All Categories
Home > Documents > Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer...

Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer...

Date post: 06-Apr-2015
Category:
Upload: apsel-xanders
View: 106 times
Download: 0 times
Share this document with a friend
29
Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber Betreuer: Dipl.-Inf. Georg Fette, Dipl.-Inf. Christian Osendorfer 11.05.0 6 DIPLOMARBEIT in Informatik
Transcript
Page 1: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

Studien zur Imitation vonInterpretationen klassischer

Klavier-Musik durch neuronale Netze

Rainer Schmoll

Aufgabensteller Prof Dr Juumlrgen Schmidhuber

Betreuer Dipl-Inf Georg Fette Dipl-Inf Christian Osendorfer

110506

DIPLOMARBEIT

in Informatik

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 2

Uumlbersicht - Methodik

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 3

Uumlbersicht - Gliederung

1 Datenrepraumlsentation

2 Grundlagen zu neuronalen Netzen

3 Datenbeschaffung

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 4

1 Datenrepraumlsentation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 5

Ereignis-Parameter beim EVL-Format

1 Ereignistyp

2 Laumlnge

3 Deltazeit

4 Notenwert

5 Lautstaumlrke

6 bdquois_first_beat_eventldquo

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 6

EDL-Berechnung

betroffene EVL-Parameter 1 Laumlnge2 Deltazeit3 Lautstaumlrke

Interpretationevl - Notentextevl = Unterschiedeevl

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 7

2 Grundlagen neuronaler Netze

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 8

Schematische NetzarchitekturEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

neti f

a1

a2

a3

ak

ai

Neuron

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 9

Vergleich miterwuumlnschter Ausgabe

Propagierung (Datenstrom)

Eingabe derTrainingsdaten

Fehlerberechnung

Ruumlckpropagierung (Fehlerstrom)

Netztraining mit BackpropagationEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 10

Rekurrente Netze mit LSTM

Output-Gate

Input-Gate

Forget-Gate

10

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 11

3 Datenbeschaffung

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 12

3 Datenbeschaffung

MIDI-Datei

CD-Aufnahmen Internet-Recherche

von Handerstellt

von einem Pianisten eingespielt

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 2: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 2

Uumlbersicht - Methodik

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 3

Uumlbersicht - Gliederung

1 Datenrepraumlsentation

2 Grundlagen zu neuronalen Netzen

3 Datenbeschaffung

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 4

1 Datenrepraumlsentation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 5

Ereignis-Parameter beim EVL-Format

1 Ereignistyp

2 Laumlnge

3 Deltazeit

4 Notenwert

5 Lautstaumlrke

6 bdquois_first_beat_eventldquo

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 6

EDL-Berechnung

betroffene EVL-Parameter 1 Laumlnge2 Deltazeit3 Lautstaumlrke

Interpretationevl - Notentextevl = Unterschiedeevl

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 7

2 Grundlagen neuronaler Netze

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 8

Schematische NetzarchitekturEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

neti f

a1

a2

a3

ak

ai

Neuron

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 9

Vergleich miterwuumlnschter Ausgabe

Propagierung (Datenstrom)

Eingabe derTrainingsdaten

Fehlerberechnung

Ruumlckpropagierung (Fehlerstrom)

Netztraining mit BackpropagationEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 10

Rekurrente Netze mit LSTM

Output-Gate

Input-Gate

Forget-Gate

10

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 11

3 Datenbeschaffung

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 12

3 Datenbeschaffung

MIDI-Datei

CD-Aufnahmen Internet-Recherche

von Handerstellt

von einem Pianisten eingespielt

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 3: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 3

Uumlbersicht - Gliederung

1 Datenrepraumlsentation

2 Grundlagen zu neuronalen Netzen

3 Datenbeschaffung

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 4

1 Datenrepraumlsentation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 5

Ereignis-Parameter beim EVL-Format

1 Ereignistyp

2 Laumlnge

3 Deltazeit

4 Notenwert

5 Lautstaumlrke

6 bdquois_first_beat_eventldquo

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 6

EDL-Berechnung

betroffene EVL-Parameter 1 Laumlnge2 Deltazeit3 Lautstaumlrke

Interpretationevl - Notentextevl = Unterschiedeevl

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 7

2 Grundlagen neuronaler Netze

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 8

Schematische NetzarchitekturEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

neti f

a1

a2

a3

ak

ai

Neuron

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 9

Vergleich miterwuumlnschter Ausgabe

Propagierung (Datenstrom)

Eingabe derTrainingsdaten

Fehlerberechnung

Ruumlckpropagierung (Fehlerstrom)

Netztraining mit BackpropagationEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 10

Rekurrente Netze mit LSTM

Output-Gate

Input-Gate

Forget-Gate

10

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 11

3 Datenbeschaffung

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 12

3 Datenbeschaffung

MIDI-Datei

CD-Aufnahmen Internet-Recherche

von Handerstellt

von einem Pianisten eingespielt

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 4: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 4

1 Datenrepraumlsentation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 5

Ereignis-Parameter beim EVL-Format

1 Ereignistyp

2 Laumlnge

3 Deltazeit

4 Notenwert

5 Lautstaumlrke

6 bdquois_first_beat_eventldquo

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 6

EDL-Berechnung

betroffene EVL-Parameter 1 Laumlnge2 Deltazeit3 Lautstaumlrke

Interpretationevl - Notentextevl = Unterschiedeevl

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 7

2 Grundlagen neuronaler Netze

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 8

Schematische NetzarchitekturEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

neti f

a1

a2

a3

ak

ai

Neuron

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 9

Vergleich miterwuumlnschter Ausgabe

Propagierung (Datenstrom)

Eingabe derTrainingsdaten

Fehlerberechnung

Ruumlckpropagierung (Fehlerstrom)

Netztraining mit BackpropagationEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 10

Rekurrente Netze mit LSTM

Output-Gate

Input-Gate

Forget-Gate

10

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 11

3 Datenbeschaffung

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 12

3 Datenbeschaffung

MIDI-Datei

CD-Aufnahmen Internet-Recherche

von Handerstellt

von einem Pianisten eingespielt

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 5: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 5

Ereignis-Parameter beim EVL-Format

1 Ereignistyp

2 Laumlnge

3 Deltazeit

4 Notenwert

5 Lautstaumlrke

6 bdquois_first_beat_eventldquo

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 6

EDL-Berechnung

betroffene EVL-Parameter 1 Laumlnge2 Deltazeit3 Lautstaumlrke

Interpretationevl - Notentextevl = Unterschiedeevl

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 7

2 Grundlagen neuronaler Netze

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 8

Schematische NetzarchitekturEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

neti f

a1

a2

a3

ak

ai

Neuron

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 9

Vergleich miterwuumlnschter Ausgabe

Propagierung (Datenstrom)

Eingabe derTrainingsdaten

Fehlerberechnung

Ruumlckpropagierung (Fehlerstrom)

Netztraining mit BackpropagationEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 10

Rekurrente Netze mit LSTM

Output-Gate

Input-Gate

Forget-Gate

10

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 11

3 Datenbeschaffung

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 12

3 Datenbeschaffung

MIDI-Datei

CD-Aufnahmen Internet-Recherche

von Handerstellt

von einem Pianisten eingespielt

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 6: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 6

EDL-Berechnung

betroffene EVL-Parameter 1 Laumlnge2 Deltazeit3 Lautstaumlrke

Interpretationevl - Notentextevl = Unterschiedeevl

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 7

2 Grundlagen neuronaler Netze

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 8

Schematische NetzarchitekturEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

neti f

a1

a2

a3

ak

ai

Neuron

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 9

Vergleich miterwuumlnschter Ausgabe

Propagierung (Datenstrom)

Eingabe derTrainingsdaten

Fehlerberechnung

Ruumlckpropagierung (Fehlerstrom)

Netztraining mit BackpropagationEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 10

Rekurrente Netze mit LSTM

Output-Gate

Input-Gate

Forget-Gate

10

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 11

3 Datenbeschaffung

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 12

3 Datenbeschaffung

MIDI-Datei

CD-Aufnahmen Internet-Recherche

von Handerstellt

von einem Pianisten eingespielt

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 7: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 7

2 Grundlagen neuronaler Netze

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 8

Schematische NetzarchitekturEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

neti f

a1

a2

a3

ak

ai

Neuron

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 9

Vergleich miterwuumlnschter Ausgabe

Propagierung (Datenstrom)

Eingabe derTrainingsdaten

Fehlerberechnung

Ruumlckpropagierung (Fehlerstrom)

Netztraining mit BackpropagationEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 10

Rekurrente Netze mit LSTM

Output-Gate

Input-Gate

Forget-Gate

10

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 11

3 Datenbeschaffung

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 12

3 Datenbeschaffung

MIDI-Datei

CD-Aufnahmen Internet-Recherche

von Handerstellt

von einem Pianisten eingespielt

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 8: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 8

Schematische NetzarchitekturEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

neti f

a1

a2

a3

ak

ai

Neuron

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 9

Vergleich miterwuumlnschter Ausgabe

Propagierung (Datenstrom)

Eingabe derTrainingsdaten

Fehlerberechnung

Ruumlckpropagierung (Fehlerstrom)

Netztraining mit BackpropagationEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 10

Rekurrente Netze mit LSTM

Output-Gate

Input-Gate

Forget-Gate

10

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 11

3 Datenbeschaffung

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 12

3 Datenbeschaffung

MIDI-Datei

CD-Aufnahmen Internet-Recherche

von Handerstellt

von einem Pianisten eingespielt

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 9: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 9

Vergleich miterwuumlnschter Ausgabe

Propagierung (Datenstrom)

Eingabe derTrainingsdaten

Fehlerberechnung

Ruumlckpropagierung (Fehlerstrom)

Netztraining mit BackpropagationEingabe-schicht

verborgeneSchicht

Ausgabe-schicht

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 10

Rekurrente Netze mit LSTM

Output-Gate

Input-Gate

Forget-Gate

10

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 11

3 Datenbeschaffung

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 12

3 Datenbeschaffung

MIDI-Datei

CD-Aufnahmen Internet-Recherche

von Handerstellt

von einem Pianisten eingespielt

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 10: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 10

Rekurrente Netze mit LSTM

Output-Gate

Input-Gate

Forget-Gate

10

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 11

3 Datenbeschaffung

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 12

3 Datenbeschaffung

MIDI-Datei

CD-Aufnahmen Internet-Recherche

von Handerstellt

von einem Pianisten eingespielt

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 11: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 11

3 Datenbeschaffung

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 12

3 Datenbeschaffung

MIDI-Datei

CD-Aufnahmen Internet-Recherche

von Handerstellt

von einem Pianisten eingespielt

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 12: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 12

3 Datenbeschaffung

MIDI-Datei

CD-Aufnahmen Internet-Recherche

von Handerstellt

von einem Pianisten eingespielt

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 13: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 13

Einspielen der Stuumlcke

bull 6 Walzer mit Klaus Ritzkowskybull Fragmente von 5 Walzern mit Hans-Joumlrg Paliege

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 14: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 14

Musikalische Analyse

1 Motorisch bedingte oderunterbewusste Variationen

Variations-Klassen

2 Notenbezogene Anschlagdynamik

3 Gesamtdynamik

4 TemposchwankungenTo

nh

oumlh

e

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 15: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 15

Digitalisierung des Notentextes

Original

nach OCR

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 16: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 16

Ruumlckwaumlrtsrechnung des Notentextes

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 17: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 17

Ruumlckwaumlrtsrechnung des Notentextes

noumltige Aumlnderungen

1 Marker setzen

To

nh

oumlh

e

Zeitm1 m2 m3 m4 m5l1 l2 l3 l4

2 Quantisieren

3 Lautstaumlrken

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 18: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 18

4 Ergebnisse

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 19: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 19

Uumlberanpassungstest

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 20: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 20

Live-Berechnung mit Kindermelodien

bull 10 monophone MelodienzB

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 21: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 21

Spieltechnik eines PianistenT

on

houml

he

Zeit

To

nh

oumlh

e

Zeit

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 22: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 22

Spieltechnik eines Pianisten

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 23: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 23

Wiederholungen lernen

bull Unmittelbare Wiederholung im Eingabestrom

bull Wiederholung vonEingabewerten

Eingaben Ausgaben

05

-1

0

0

-05

05

05

-1

-1

-1

-1

1

-1

1

1

1

( )

S

eq

ue

nzv

erl

au

f

bull Phrasenwiederholungen in einem Musikstuumlck

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 24: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 24

Netztraining mit Klavierstuumlcken

bull Typischer Fehlerverlauf

bull Ergebnis zB

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 25: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 25

Phrasen lernen

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 26: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 26

Phrasen lernen

Notentext Interpretationgelernte

Interpretation

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 27: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 27

Ausblick

bull Tests mit weniger komplexen Daten

bull Mehr Trainingsdaten

bull Erweiterungen der Datenrepraumlsentation

bull Andere Musikstile

bull Direkter Vergleich zu anderen Lernverfahren

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 28: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 28

Ende

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion
Page 29: Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber.

110506 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Folie 29

Diskussion

  • Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze
  • Uumlbersicht - Methodik
  • Uumlbersicht - Gliederung
  • 1 Datenrepraumlsentation
  • Ereignis-Parameter beim EVL-Format
  • EDL-Berechnung
  • 2 Grundlagen neuronaler Netze
  • Schematische Netzarchitektur
  • Netztraining mit Backpropagation
  • Rekurrente Netze mit LSTM
  • 3 Datenbeschaffung
  • Slide 12
  • Einspielen der Stuumlcke
  • Musikalische Analyse
  • Digitalisierung des Notentextes
  • Ruumlckwaumlrtsrechnung des Notentextes
  • Slide 17
  • 4 Ergebnisse
  • Uumlberanpassungstest
  • Live-Berechnung mit Kindermelodien
  • Spieltechnik eines Pianisten
  • Slide 22
  • Wiederholungen lernen
  • Netztraining mit Klavierstuumlcken
  • Phrasen lernen
  • Slide 26
  • Ausblick
  • Ende
  • Diskussion

Recommended