Private and Confidential
Fritz-Ulli Pieper, LL.M.
Rechtsanwalt und Fachanwalt für Informationstechnologierecht
Taylor Wessing, Düsseldorf
Natural Stupidity vs. Artificial Intelligence
Wie KI und Datenschutzrecht zusammenspielen
BvD-Verbandstage, 6. Juni 2019, Berlin
English (United Kingdom)
2
www.xing.com/profile/Fritz_Pieper3
www.linkedin.com/in/fupieper
@fupieper
Social Media
Fritz-Ulli Pieper, LL.M. (Medienrecht und Medienwirtschaft
Rechtsanwalt, Fachanwalt für Informationstechnologierecht
English (United Kingdom)
3
Inhalt
Rechtsanwalt Fritz-Ulli Pieper
1 Einleitung 4
2 Grundlegendes zu KI 8
3 KI und Datenschutzrecht 12
4 Zusammenfassung 22
English (United Kingdom)
5
„Das Entstehen einer technischen Superintelligenz ist vermutlich die wichtigste und
zugleich einschüchterndste Herausforderung, der sich die Menschheit jemals stellen
musste.“ — Nick Bostrom, Philosoph, Oxford University
We are on the edge of change comparable to the rise of human life on Earth. — Vernor Vinge,
amerikanischer Mathematiker, Informatiker und Science-Fiction-Autor
Einleitung
Rechtsanwalt Fritz-Ulli Pieper
English (United Kingdom)
6
Grundannahmen
Geräte (inter)agieren zunehmend „autonom“, Geräte werden zunehmend
„intelligent“
Steuerungssoftware ist auf immer weniger Benutzereingriffe angewiesen
und komplexe(re) Abläufe werden „selbst“ gesteuert
„Eigene“ Entscheidungen & „eigene“ rechtserhebliche Handlungen
1996: Kasparow verliert gegen „Deep Blue“
2011: „Watson“ gewinnt in „Jeopardy!“
März 2016: „AlphaGo“ besiegt Lee Sedol
März 2016: Google-Auto rammt Bus („Softwarefehler“)
September 2016: Nvidia Selfdriving Car mit autark selbstlernendem Algorithmus
Juli 2017: Künstliche Intelligenz entwickelt Geheimsprache – Facebook zieht den
Stecker
Verfügbarkeit fortschrittlicher Computer und schneller und großer
Massenspeicher + Big Data
Einleitung
Rechtsanwalt Fritz-Ulli Pieper
English (United Kingdom)
7
Herausforderungen für das Recht
Technik entwickelt sich rasant fort
Akzeptanzprobleme, technische Komplexität, rechtliche
Unsicherheit
Recht muss faktenbasiert arbeiten
Recht muss also Algorithmen und Künstliche Intelligenz
„verstehen“, um schlüssige und nachvollziehbare Wertungen
ableiten zu können
Zusammenspiel von Technik und Rechtsanwendung
Problem: Was ist überhaupt „Künstliche Intelligenz“
Wie funktionieren Algorithmen?
Was ist mit selbstlernenden algorithmen, „starker KI“?
Einleitung
Rechtsanwalt Fritz-Ulli Pieper
English (United Kingdom)
9
Zeitlicher Abriss
1970er-Jahre: Mikrochiptechnologie, „Computerisierung“
2007: 94 % der weltweiten technologischen Informationskapazität
digital (1986: 0,8 %)
2008: 76 % der Haushalte und 84 % der Unternehmen nutzen
Computertechnik
2013: 100 % der der 14- bis 19-jährigen Deutschen nutzen das
Internet (97,5 % der 20- bis 29-jährigen)
2014: Internetnutzung Europa: 73,5 %, Nordamerika: 87,9 %
2014: Industrie 4.0
201X: Autonome Systeme → Künstliche Intelligenz
2 Einleitung – Digitalisierung
Rechtsanwalt Fritz-Ulli Pieper
English (United Kingdom)
10
2 Grundlegendes zu KI
Was ist überhaupt KI - Technischer Hintergrund
KI ist ein Teilgebiet der Informatik – keine einheitliche Definition des
Terminus „Künstlicher Intelligenz“
Autos (gr.) = „selbst“, nomos (gr.) = „Regel“ oder „Gesetz“
10 Autonomiegrade
reine menschliche Autonomie, keine Unterstützung durch Rechner
verschiedene Entscheidungsvarianten allein aus der Computersphäre,
mit Benachrichtigungs-, Zustimmungs- und Vetorechten des Menschen
vollständig autonome, ohne jede Beteiligung des Menschen
durchgeführte Entscheidungsfindung und Ausführung einer Aktion
Intelligenz: reaktiv, proaktiv, interaktionsfähig, lernfähig
Autonomie = Grad der Eigenständigkeit einer Entscheidung, Intelligenz =
Qualität der möglichen Lösungsalternativen
English (United Kingdom)
11
2 Grundlegendes zu KI
Was ist überhaupt KI - Technischer Hintergrund
Unterscheidung zwischen „schwacher KI“ und „starker KI“
• Die Behauptung, dass Maschinen agieren könnten, als ob sie intelligent
wären, nennt man die schwache KI-Hypothese (auch „Artificial Narrow
Intelligence“ (ANI) genannt), und die Behauptung, dass Maschinen, die das
tun, wirklich denken (und nicht einfach Denken simulieren) die starke KI-
Hypothese (auch „Artificial General Intelligence“ (AGI) genannt).
Eine (starke) KI kann gegebenenfalls ihr Verhalten verändern,
möglicherweise auch über die ursprünglich von Auftraggebern,
Entwicklern und Nutzern intendierte Funktionalität hinaus.
• Maschinelles Lernen
• Artificial Neural Networks (ANN)
• Deep Learning („Black Box“-Argument“)
English (United Kingdom)
13
3.1 KI und Datenschutzrecht – Allgemeines
Rechtsanwalt Fritz-Ulli Pieper
Regulatorischer Rahmen bei KI?
Rasante Entwicklungen im Bereich der KI hat auch die
Auseinandersetzung mit den dazugehörigen rechtlichen Fragestellungen
befördert
Nutzung von KI-Systemen beinhaltet häufig Verarbeitung von
personenbezogenen Daten
Chatbots im Kunden-Support
Einstellungsentscheidung im Bewerbungsprozess
Robo Advisor (Bankkunde und Investitionsentscheidung)
Zusammenspiel von Big Data und KI
English (United Kingdom)
14
3.1 KI und Datenschutzrecht – Allgemeines
Rechtsanwalt Fritz-Ulli Pieper
Regulatorischer Rahmen bei KI?
Weder in der deutschen noch der europäischen Datenschutzgesetzgebung finden
sich Vorschriften, die direkt auf KI Bezug nehmen oder spezifisch KI-
Anwendungsfälle regeln
Erwägungsgrund 15 DSGVO: Grundsatz der Technologieneutralität
„Um ein ernsthaftes Risiko einer Umgehung der Vorschriften zu vermeiden, sollte
der Schutz natürlicher Personen technologieneutral sein und nicht von den
verwendeten Techniken abhängen.“
Derzeit: politische Positionspapiere und Expertenkommissionen
Europäisches Parlament hat bereits 2015 einen „Bericht mit Empfehlungen an
die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik“ vorgelegt
High Level Expert Group der EU Kommission
Bundesregierung hat eine Strategie Künstliche Intelligenz“ verabschiedet
„Datenethikkommission“
Bundestag: Enquete-Kommission „Künstliche Intelligenz“
English (United Kingdom)
15
3.2 KI und Datenschutzrecht – DSGVO und KI
Rechtsanwalt Fritz-Ulli Pieper
Allgemeines
DSGVO beinhaltet schon jetzt eine Vielzahl an Vorschriften, die beim Einsatz von
KI unter Verwendung von personenbezogenen Daten unter Berücksichtigung der
technischen Besonderheiten einschlägig sein können
Technikneutralität!
Erlaubnistatbestände
Verarbeitungsgrundsätze
Betroffenenrechte
Automatisierte Einzelentscheidung im Einzelfall einschließlich Profiling, Scoring
Datenschutzfolgeabschätzung
Bestellung eines Datenschutzbeauftragten
Privacy by design, insbesondere bei KI-Softwareentwicklung
Privilegien für die Forschung
English (United Kingdom)
16
3.2 KI und Datenschutzrecht – DSGVO und KI
Rechtsanwalt Fritz-Ulli Pieper
Erlaubnistatbestände
Einwilligung
„bestimmt und informiert“
Betroffener muss sich ein Bild von den für ihn bestehenden Chancen und
Risiken machen können
Betroffener muss sich ein zutreffendes Bild der beabsichtigten
Datenverarbeitung machen können, wobei es auf das Verständnis des
Adressatenkreises des Einwilligungsersuchens ankommt
Kunden, Verbrauchern oder Arbeitnehmern
Interessenabwägung (Güterabwägung)
Eingriffsintensität; Art und Weise, in der Informationen verarbeitet werden;
Schweregrad potentieller Gefahrenquellen für den Betroffenen
Machine Learning = potentiell undurchsichtige Mechanismen im Einsatz, ggf.
unvorhergesehene Ergebnisse („Black Box“)
(Zweckfremde Weiterverarbeitung, Vereinbarkeitsprüfung)
English (United Kingdom)
17
3.2 KI und Datenschutzrecht – DSGVO und KI
Rechtsanwalt Fritz-Ulli Pieper
Betroffenenrechte
Informationen
Verantwortliche muss einem Betroffenen Informationen in „präziser,
transparenter, verständlicher und leicht zugänglicher Form in einer
klaren und einfachen Sprache“ zur Verfügung stellen
KI-Systeme haben per se eine gewisse Komplexität inne
Wie konkret muss die Information sein? Wie ausführlich muss sie sein, damit
ein Laie sie versteht? Welches Vorwissen darf erwartet werden? Wie wirkt
sich all dies auf den Einsatz von KI-Systemen aus, die generell erhöhte
Anforderungen an den Grad der Detailliertheit und Verständlichkeit stellt?
„zum Zeitpunkt der Erhebung“?
wenn bestimmte Verarbeitungsvorgänge aufgrund des Einsatzes
autonomer und selbstlernender Systeme bei der Information noch gar
nicht absehbar oder konkret zu beschreiben sind
English (United Kingdom)
18
3.2 KI und Datenschutzrecht – DSGVO und KI
Rechtsanwalt Fritz-Ulli Pieper
Automatisierte Einzelentscheidung im Einzelfall einschließlich Profiling, Scoring
Automatisierte Einzelentscheidungen
Erwägungsgrund 71 nennt beispielhaft die Ablehnung eines „Online-Kreditantrags oder
Online-Einstellungsverfahren ohne jegliches menschliche Eingreifen“
In der Tat dürfte KI insbesondere geeignet sein, auf Basis flexibler Datenbestände und
eigener Deep Learning-Erfahrungen, bestimmte Entscheidungen autark herbeizuführen
Verantwortlicher muss „angemessene Maßnahmen“ zum Betroffenenschutz ergreifen.
Insbesondere muss der Betroffene „spezifisch unterrichtet“ werden und eine
Entscheidung „erläutert“ werden können.
In Bezug auf etwaiges Profiling muss der Verantwortliche „geeignete mathematische
oder statistische Verfahren“ verwenden und Maßnahmen einsetzen, die
Korrekturmaßnahmen und Fehlerminimierung vorsehen
KI-Entscheidungen sind aber im Regelfall wenig bis gar nicht nachvollziehbar.
Ende 2018 kam beispielsweise heraus, dass eine KI-basierte Bewerbungssoftware von
Amazon systematisch Frauen diskriminierte.
English (United Kingdom)
19
3.2 KI und Datenschutzrecht – DSGVO und KI
Rechtsanwalt Fritz-Ulli Pieper
Automatisierte Einzelentscheidung im Einzelfall einschließlich Profiling, Scoring
Automatisierte Einzelentscheidungen & Betroffenenrechte
Verantwortlichen treffen Informationspflichten und der Betroffene hat Auskunftsrechte
über „aussagekräftige Informationen über die involvierte Logik sowie die Tragweite
und die angestrebten Auswirkungen einer derartigen Verarbeitung“
Unterschiedliche Ansichten, wie weit dies zu verstehen ist
von der Mitteilung des „Prinzips hinter der Entscheidung“ bis hin zur
„Offenlegung des Algorithmus“.
Diese Problematik verstärkt sich beim Einsatz von KI
Häufig wird argumentiert, KI-Systeme können auf der Basis maschinellen Lernens
ihr Verhalten verändern, möglicherweise auch über die ursprünglich von
Auftraggebern, Entwicklern und Nutzern intendierte Funktionalität hinaus.
Eher „starre“ Formulierungen in diesem Bereich „KI-spezifisch“ auszulegen?
Entscheidung des BGH zur Auskunft über die SCHUFA-Scoreformel?
English (United Kingdom)
20
3.2 KI und Datenschutzrecht – DSGVO und KI
Rechtsanwalt Fritz-Ulli Pieper
Datenschutzfolgeabschätzung
Immer bei der Verarbeitung personenbezogener Daten unter Einsatz von KI-
Systemen?
„Insbesondere bei Verwendung neuer Technologien“ (da hierbei regelmäßig
ein hohes Risiko für die Betroffenen vorliegt)
Einschränkung möglich(?): Wann ist Verarbeitung mit KI-System besonders
risikobehaftet?
Deep Learning-Ansätze
„neuer als KI geht nicht“
Katalog mit Tätigkeiten gemäß Art. 35 Abs. 4 DS-GVO der
Datenschutzkonferenz nennt beispielsweise den „Einsatz von
künstlicher Intelligenz zur Verarbeitung personenbezogener Daten
zur Steuerung der Interaktion mit den Betroffenen oder zur
Bewertung persönlicher Aspekte der betroffenen Person“.
English (United Kingdom)
21
3.2 KI und Datenschutzrecht – DSGVO und KI
Rechtsanwalt Fritz-Ulli Pieper
Bestellung eines Datenschutzbeauftragten
DSB, wenn Verarbeitung aufgrund ihrer Art, ihres Umfangs oder ihrer Zwecke
eine umfangreiche regelmäßige und systematische Überwachung von betroffenen
Personen erforderlich macht
Erwägungsgrund 89: insbesondere solche Verarbeitungsvorgänge, bei denen
neue Technologien eingesetzt werden oder die neuartig sind und bei denen
der Verantwortliche noch keine Datenschutz-Folgenabschätzung durchgeführt
hat
ARTIKEL-29-DATENSCHUTZGRUPPE, Leitlinien in Bezug auf
Datenschutzbeauftragte: Hierunter fällt beispielhaft auch die Typisierung und
Scoring (mittels KI) zu Zwecken der Risikobewertung, Formen der
Verfolgung und Profilerstellung im Internet (auf Basis von KI) oder der
Einsatz vernetzter KI-Geräte wie intelligente Stromzähler oder intelligente
Autos
English (United Kingdom)
23
Es wird intelligente, autonome Systeme geben, die mit „Starker KI“
ausgestattet sind
Treffen eigenverantwortliche Entscheidungen, die „außerhalb“ der
eigenen Programmierung stattfinden
Verständnis der Funktionalität der Technik von ausschlaggebender
Bedeutung für rechtliche Bewertung
DSGVO beinhaltet schon jetzt eine Vielzahl an Vorschriften, die
beim Einsatz von KI unter Verwendung von personenbezogenen
Daten unter Berücksichtigung der technischen Besonderheiten
einschlägig sein können
Zusammenfassung
Rechtsanwalt Fritz-Ulli Pieper
English (United Kingdom)
25
Fritz-Ulli Pieper ist Rechtsanwalt und Mitglied der Practice Area Technologie, Medien und Telekommunikation
bei Taylor Wessing in Düsseldorf. Er berät nationale und internationale Mandanten in allen operativen
Belangen zum IT-, Telekommunikations- und Datenschutzrecht. Seine Beratungsschwerpunkte umfassen vor
allem die Gestaltung von IT-Verträgen, Datenschutz, E-Commerce und die IT-rechtliche Begleitung von M&A-
Transaktionen. Ein weiterer Schwerpunkt liegt auf der IT-rechtlichen Beratung von internationalen Rollout-
Projekten. Sein besonderes Interesse gilt zukunftsträchtigen Fragen des IT- und Internetrechts, insbesondere
dem Internet of Things, Industrie 4.0 sowie Künstlicher Intelligenz.
Er studierte Rechtswissenschaften an der Georg-August-Universität Göttingen mit Schwerpunkt im privaten
und öffentlichen Medienrecht. Sein Referendariat absolvierte er beim Oberlandesgericht Celle mit Stationen
u.a. bei der Niedersächsischen Landesmedienanstalt in Hannover sowie dem Bundesministerium für
Wirtschaft und Technologie in Berlin (Grundsatzreferat Informationsgesellschaft, IT-Wirtschaft) und er war
wissenschaftlicher Mitarbeiter am Institut für Rechtsinformatik (IRI) der Leibniz Universität Hannover.
Fritz-Ulli Pieper hat den Masterstudiengang "Medienrecht und Medienwirtschaft" der TH Köln 2016 als
Jahrgangsbester abgeschlossen. Er ist leitender Redakteur des Juraportals „Telemedicus – Recht der
Informationsgesellschaft“ und Gründer des „Startup Grind Köln“. Seit 2018 ist er zudem Fachanwalt für
Informationstechnologierecht.
Sprachen
Deutsch, Englisch
Ihr Ansprechpartner
Fritz-Ulli Pieper, LL.M
+49 211 8387-189
Beratungsschwerpunkte
Informationstechnologie/
Telekommunikation
Datenschutz & Datensicherheit
Litigation & Dispute Resolution
Senior Associate
Düsseldorf
English (United Kingdom)
26
© Taylor Wessing 2018
This publication is intended for general guidance and to highlight issues. It is not intended to apply to specific circumstances or to constitute legal advice. Taylor Wessing’s International offices operate as one firm but are established as distinct legal entities. For further
information about our offices and the regulatory regimes that apply to them, please refer to www.taylorwessing.com/regulatory.html
taylorwessing.comEurope > Middle East > Asia