Wie PEGASUS die Lücke im Bereich Testen und Freigabe von automatisierten Fahrzeugen schließt Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren
Jens Mazzega | 27. Oktober 2016
Ziele und Arbeitsinhalte von PEGASUS
Eckdaten
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 2
01. Januar 2016 – 30. Juni 2019
u.a. IFR, ika, OFFIS
ca. 34,5 Mio. EUR
Fördervolumen 16,3 Mio. EUR
ca. 1.791 Personenmonate bzw. 149 Personenjahre
OEM: Audi, BMW, Daimler, Opel, Volkswagen
Tier 1: ADC Automotive Distance Control, Bosch, Continental Teves
Tech.Prüforganisation: TÜV SÜD
KMU: fka, iMAR, IPG, QTronic, TraceTronic, VIRES
Forschung: DLR, TU Darmstadt
42 Monate Laufzeit
17 Partner
12 Unteraufträge
Projektvolumen
Personaleinsatz
Ziele und Arbeitsinhalte von PEGASUS
Aktueller Entwicklungsstand im Bereich HAF
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 3
Prototypen Labor / Testgelände Produkte
Stand heute
Ohne hinreichende Absicherung, keine Freigabe bzw. Einführung für eine Vielzahl von HAF-Funktionen
Einzelbetrachtungen zur Optimierung von Prototypen
aktuelle Prüfstände/ Testgelände liefern keine hinreichende Test-abdeckung für alle aktuell fokussierten HAF-Funktionalitäten
Es besteht kein Vorgehen zum ausreichenden Testen (insb. Verhalten) von HAF-Systemen
Vielzahl von Prototypen durch OEM mit HAF-Funktionalität aufgebaut
Beweis, dass HAF technologisch möglich ist
Ausschnittsweise im Realverkehr erprobt
Fahrten erfolgen stets mit einem Sicherheitsfahrer
Ziele und Arbeitsinhalte von PEGASUS
Aktueller Entwicklungsstand im Bereich HAF
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 4
Prototypen Labor / Testgelände Produkte
Stand heute
hohe Anforderungen an Güte, Qualität und Verhalten des automatisierten Fahrzeugs
Maße, welche die Produkte erfüllen müssen.
Grundfunktionalität ist technisch gegeben
wurde in diversen Projekten bewiesen
automatisierte Fahren ist neben dem elektrischen Fahren das Thema von morgen und stellt eine Schlüsseltechnologie dar
Ziele und Arbeitsinhalte von PEGASUS
Resultierende Ausgangslage – Automatisierte Fahren
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 5
Bestehende Methoden zum Testen und zur Freigabe sind ungenügend, zu kostspielig und zu aufwändig.
Somit ist die Einführung von hochautomatisierten Fahrfunktionen heute nur mit sehr großem Aufwand möglich.
Wie kann die Vollständigkeit der relevanten Testfälle sichergestellt werden?
Wie sehen Kriterien und Maße für diese Testfälle aus?
Was kann in Laboren/ Simulation geprüft werden, was muss auf Prüfgeländen, was auf der Straße getestet werden?
Welche Werkzeuge, Methoden und Prozesse sind erforderlich?
Was ist die menschliche Leistungsfähigkeit im Anwendungsfall?
Was ist die maschinelle?
Ist diese ausreichend akzeptiert?
Welche Kriterien und Maße lassen sich hieraus ableiten?
Ziele und Arbeitsinhalte von PEGASUS
Zentrale Fragestellungen im Projekt
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 6
Szenarienanalyse & Qualitätsmaße Umsetzungsprozesse Testen
Trägt das Konzept?
Wie gelingt die Einbettung?
Ergebnisreflektion & Einbettung
Was muss ein automatisiertes Fahrzeug leisten?
Wie weisen wir nach, dass es dies auch zuverlässig leistet?
Wie kann die Vollständigkeit der relevanten Testfälle sichergestellt werden?
Wie sehen Kriterien und Maße für diese Testfälle aus?
Was kann in Laboren/ Simulation geprüft werden, was muss auf Prüfgeländen, was auf der Straße getestet werden?
Welche Werkzeuge, Methoden und Prozesse sind erforderlich?
Was ist die menschliche Leistungsfähigkeit im Anwendungsfall?
Was ist die maschinelle?
Ist diese ausreichend akzeptiert?
Welche Kriterien und Maße lassen sich hieraus ableiten?
Ziele und Arbeitsinhalte von PEGASUS
Zentrale Fragestellungen im Projekt
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 7
Szenarienanalyse & Qualitätsmaße Umsetzungsprozesse Testen
Trägt das Konzept?
Wie gelingt die Einbettung?
Ergebnisreflektion & Einbettung
Was muss ein automatisiertes Fahrzeug leisten?
Wie weisen wir nach, dass es dies auch zuverlässig leistet?
Übergeordnetes Ziel von TP1 ist die Beantwortung der Frage:
Wie gut ist gut genug ?
Welche funktionale Leistungsfähigkeit müssen hochautomatisierte Fahrfunktionen aufweisen, damit sie vom Fahrer und von der Gesellschaft akzeptiert werden?
Ziele und Arbeitsinhalte von PEGASUS
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 8
Fahrkönnen
%
Ø ? Autopilot ?
weniger gut gut sehr gut
Menschliche Fahrer
TP 1 Szenarienanalyse und Qualitätsmaße
Zur Beantwortung dieser Frage werden generell akzeptierten Gütekriterien, Werkzeuge und Methoden entwickelt.
Am Beispiel der Funktion „Autobahn Chauffeur“ und eines sog. “Erweiterten Anwendungsszenarios“ sollen diese Werkzeuge und Methoden angewandt und erprobt werden.
Ziele und Arbeitsinhalte von PEGASUS
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 9
TP 1 Szenarienanalyse und Qualitätsmaße
Ziele und Arbeitsinhalte von PEGASUS
TP 1 Szenarienanalyse und Qualitätsmaße
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 10
Beschreibung des Anwendungsszenarios (Beispielanwendung: Autobahn-Chauffeur + erweitertes Anwendungsszenario)
Ermittlung kritischer Verkehrssituationen
Ermittlung des Sicherheitsniveaus durch eine Bewertung von Auftretens-
wahrscheinlichkeit und maschineller Beherrschbarkeit der kritischen Situationen
Herleitung eines akzeptierten Gütemaßes für automatisierte Fahrfunktionen
Ableitung von Anforderungen aufbauend auf dem akzeptierten Gütemaß
Ermittlung menschlicher sowie maschineller Leistungsfähigkeit sowie Wirksamkeit (Unfallvermeidungspotential)
Vorgehensweise und Struktur:
Ziele und Arbeitsinhalte von PEGASUS
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 11
Anwendungsszenario
Qualitätsmaße
kritische Verkehrs-situation
menschliche Leistungs-fähigkeit
Leistungs-fähigkeit
Automatische Fahrfunktion
Wirksamkeit Automatische Fahrfunktion
Ableitung von Anforderungen an eine hoch-automatisierte Fahrfunktion
Beschreibung Anwendungs-
szenario
Befüllung der TP 3 Datenbank mit Anwendungs-
szenarien
Sicherheitsniveau Hochautomatische
Fahrfunktion
Akzeptanz und Gütemaße für
Hochautomatische Fahrfunktionen
TP 1 Szenarienanalyse und Qualitätsmaße
Ziele und Arbeitsinhalte von PEGASUS
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 12
Systemgrenzen Metrikperspektiven Klassen von Automationsrisiken
TP 1 Szenarienanalyse und Qualitätsmaße
Resultate sind u.a.:
Wie kann die Vollständigkeit der relevanten Testfälle sichergestellt werden?
Wie sehen Kriterien und Maße für diese Testfälle aus?
Was kann in Laboren/ Simulation geprüft werden, was muss auf Prüfgeländen, was auf der Straße getestet werden?
Welche Werkzeuge, Methoden und Prozesse sind erforderlich?
Was ist die menschliche Leistungsfähigkeit im Anwendungsfall?
Was ist die maschinelle?
Ist diese ausreichend akzeptiert?
Welche Kriterien und Maße lassen sich hieraus ableiten?
Ziele und Arbeitsinhalte von PEGASUS
Zentrale Fragestellungen im Projekt
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 13
Szenarienanalyse & Qualitätsmaße Umsetzungsprozesse Testen
Trägt das Konzept?
Wie gelingt die Einbettung?
Ergebnisreflektion & Einbettung
Was muss ein automatisiertes Fahrzeug leisten?
Wie weisen wir nach, dass es dies auch zuverlässig leistet?
Ziele und Arbeitsinhalte von PEGASUS
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 14
Analyse bestehende Prozesse bei der Entwicklung konventioneller Fahrzeuge und solchen mit teilautomatisierten Systemen
Spezifikation von Rahmenbedingungen für Tests und Testkriterien
Erarbeitung von neuen Methodiken für Umsetzungsprozesse bei automatisierten
Fahrzeugen
TP 2 Umsetzungsprozesse
Analyse des Modifikationsbedarfs
vorhandener Metriken und Prozesse bei der
Automobil-Serienentwicklung
1 2
3 4
5
Ziele und Arbeitsinhalte von PEGASUS
TP 2 Umsetzungsprozesse
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 15
6
Überführung der systematischen Szenario-
Leitlinien in Prozessschritte unter Berücksichtigung von System-
Klassifikation und Fahrzeugnutzungsstufen
Überführung der Rahmenbedingungen zur
Referenzwertdefinition in Prozessschritte
Vorbereitung der Anforderungsdefinition für
Simulation, Labortests, Prüfgelände und Feldabsicherung
Verfeinerung der Guidelines für
notwendige Dokumen- tationen der Prozessschritte
Richtlinien und Vorlagen zur Dokumentation der
Einhaltung des technischen State-of-the-Art beim Entwicklungsprozess
Wie kann die Vollständigkeit der relevanten Testfälle sichergestellt werden?
Wie sehen Kriterien und Maße für diese Testfälle aus?
Was kann in Laboren/ Simulation geprüft werden, was muss auf Prüfgeländen, was auf der Straße getestet werden?
Welche Werkzeuge, Methoden und Prozesse sind erforderlich?
Was ist die menschliche Leistungsfähigkeit im Anwendungsfall?
Was ist die maschinelle?
Ist diese ausreichend akzeptiert?
Welche Kriterien und Maße lassen sich hieraus ableiten?
Ziele und Arbeitsinhalte von PEGASUS
Zentrale Fragestellungen im Projekt
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 16
Szenarienanalyse & Qualitätsmaße Umsetzungsprozesse Testen
Trägt das Konzept?
Wie gelingt die Einbettung?
Ergebnisreflektion & Einbettung
Was muss ein automatisiertes Fahrzeug leisten?
Wie weisen wir nach, dass es dies auch zuverlässig leistet?
240 Mio. km Zahl der Unfälle
Ziele und Arbeitsinhalte von PEGASUS
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 17
Absicherungsfalle*: Bislang wird das Systemverhalten
im Verkehr als bloßer stochastischer Prozess betrachtet.
Dies entspricht dem Versuch, den Zustandsraum durch reines Fahren repräsentativ abzudecken.
? Keine Strukturierung keine differenzierte Messung
Unfall
Übersehene Gefährdung
Erwartetes Fahren
Wirkungsdimension A
* „Absicherung automatischen Fahrens“, Prof. Dr. H. Winner, 6. FAS-Tagung München, 29.11.2013
TP 3 Testen
Ziele und Arbeitsinhalte von PEGASUS
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 18
Paradigmenwechsel: Zur Erreichung eines ganzheitlichen Ansatzes zum hinreichenden, vollständigen und effizienten Testen von
HAF innerhalb der Funktionsgrenzen ist ein Paradigmenwechsel notwendig:
Black Box Stochastische Felderprobung
?
Funktionsgrenze
Simulationsbasierte Ermittlung der Funktionsgrenzen
Simulationsbasierte Verifikation der Funktionsgrenze
Software Kameras
Fusion Situations- Analyse
Regelung/ Planung Aktuatorik Radare
Lidar etc.
Systemintegritätsbeobachter
White Box / Testable Design
Unfall Übersehene Gefährdung
Erwartetes Fahren
Wirkungsdimension A
Wirk
ungs
dim
ensi
on B
Wirkungsdimension A
OEM-spezifisch PEGASUS
TP 3 Testen
Ziele und Arbeitsinhalte von PEGASUS
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 19
Wesentliche Herausforderung: Ausreichende Abdeckung des Situationsraums (Teststrategie)
Absicherung aller sicherheitsrelevanten Szenarien innerhalb des Anwendungsbereiches der Funktion
Ermittlung und Nachweis der Beherrschbarkeit der Funktionsgrenzen
Verifikation und Validierung der für den Sicherheitsnachweis notwendigen Testmethoden und
Testinstanzen (Simulation/Labortests, Prüfgelände, Feldtests)
TP 3 Testen
Ziele und Arbeitsinhalte von PEGASUS
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 20
Lösungsansatz: Iterative Ermittlung der kritischen Szenarien für die HAF Funktion mittels Simulation, Prüfgelände
und Feldtests in Abgleich mit einer zentralen Testspezifikations-Datenbank
Virtualisierung des Test- und Absicherungsvorgehens zur Beherrschung des großen Testraumes und –Volumens
Simulative Ermittlung der Funktionsgrenzen sowie Nachweis der Beherrschbarkeit
Herausforderung für die Simulation: realitätsnahe Modelle (Verkehr, Sensorik) Nachweis der Realitätsnähe, d.h. Verifikation und Validierung auf Prüfgelände und innerhalb der Feldtests
Automatisierte Identifikation ggf. noch nicht modellierter, potentiell kritischer Situationen
TP 3 Testen
Ziele und Arbeitsinhalte von PEGASUS
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 21
Zusammenspiel:
Szenariendetaillierung
Festlegung Testkonzept für alle Teil-Szenarien
Def. Anforderungen
Labortests/Simulation
Testvorbereitung
Schnittstellen & Werkzeuge
Umsetzung & Auswertung, Validierung
Def. Anforderungen
Feldabsicherung
Umsetzung
Auswertung
Def. Anforderungen
Prüfgeländetest
Schnittstellen & Werkzeuge
Umsetzung & Auswertung
weitere relevante Situationen,
Maß für Zugewinn
Validierung
Machbarkeit, Grenzen
Machbarkeit, Grenzen
Testspezifikations-Datenbank
Szenarien-Set (grob)
Szenarien-Relevanz
Güte- und Qualitätsmaße
Testmethodik, Richtlinien
Automat.-spez. Testcases
Referenzszenarien
„Lernen“
Bereitstellung test-übergreifender Elemente
Test- Spezifikation
Szenario-Set (fein)
Relevanz Funktions-Beschr. Abnahmekriterium
Testkonzept Referenzszenarien
TP 3 Testen
Ziele und Arbeitsinhalte von PEGASUS
TP 3 Testen
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 22
Detaillierung und Vervollständigung der Testszenarien aus TP 1, inklusive technischer Güte- und Qualitätsmaße sowie Abnahmekriterien
Aufbau und Füllung der Testspezifikations-Datenbank
Festlegung und Überprüfung von Testmethoden, Schnittstellen, Werkzeugen im Labor, auf dem Prüfgelände und im Realverkehr
Erstellung und Abstimmung industrieweit etablierter Modelle, Werkzeuge und Schnittstellen für die Simulation
Zusammenstellung des Testkatalogs und Anforderungen für Labor, Prüfgelände und Feldabsicherung
Aufbau von Referenzelementen zur praktischen Erprobung und Funktionsdemonstration
Erprobung im Labor, Prüfgelände und auf der Straße
Wie kann die Vollständigkeit der relevanten Testfälle sichergestellt werden?
Wie sehen Kriterien und Maße für diese Testfälle aus?
Was kann in Laboren/ Simulation geprüft werden, was muss auf Prüfgeländen, was auf der Straße getestet werden?
Welche Werkzeuge, Methoden und Prozesse sind erforderlich?
Was ist die menschliche Leistungsfähigkeit im Anwendungsfall?
Was ist die maschinelle?
Ist diese ausreichend akzeptiert?
Welche Kriterien und Maße lassen sich hieraus ableiten?
Ziele und Arbeitsinhalte von PEGASUS
Zentrale Fragestellungen im Projekt
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 23
Szenarienanalyse & Qualitätsmaße Umsetzungsprozesse Testen
Trägt das Konzept?
Wie gelingt die Einbettung?
Ergebnisreflektion & Einbettung
Was muss ein automatisiertes Fahrzeug leisten?
Wie weisen wir nach, dass es dies auch zuverlässig leistet?
Ziele und Arbeitsinhalte von PEGASUS
TP 4 Ergebnisreflektion & Einbettung
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 24
Verifikation der Methodik zur Identifizierung von relevanten Situationen, Güte- und Kritikalitätsmaßen für die Absicherung von HAF-Funktionalitäten
Bewertung, ob das Testziel mit den in PEGASUS angewendeten Prozessen und Methoden erreicht werden kann
Aussage über das Aufteilungsverhältnis zwischen den angewendeten Testmethodiken (Simulation zu Prüfgelände zu Feldtests)
Begleitung der Einbettung der erarbeiteten
Ergebnisse bei den Projektpartnern
Lessons learned zur Einführung der entstanden
Ergebnisse in die bestehenden Unternehmensstrukturen
Proof of Concept
Ziele und Arbeitsinhalte von PEGASUS
Ausgewählte Ziele des Projektes
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 25
Entwicklung eines Vorgehens zur Festlegung von Auslegungskriterien und Etablierung von Gütemaßen.
Berücksichtigung des Fahrers in Bezug auf seine Leistungsfähigkeit.
Gestaltung des Entwicklungsprozesses zur Freigabe von hochautomatisierten Fahrzeugsystemen.
Konzeptionierung, Aufbau und Demonstration von Bausteinen für eine effiziente Werkzeugkette für Simulation, Testgelände und Feldtest.
Einbettung der Erkenntnisse in die Industrie.
Verbreitung und Wegbereitung einer Standardisierung.
Alle essenziellen Projektergebnisse sind barrierefrei zugänglich.
Ziele und Arbeitsinhalte von PEGASUS
Lückenschluss durch PEGASUS
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 26
Prototypen Labor / Testgelände Produkte
Stand heute Weiterentwicklung durch PEGASUS
Kontakt: PEGASUS Projektbüro Jens Mazzega DLR [email protected] 0531/295-3456 www.pegasusprojekt.de
© PEGASUS | Methodenentwicklung für Aktive Sicherheit und Automatisiertes Fahren | 27. Oktober 2016 27