Dr. Jochen Kokemüller, Robert Bosch GmbH

• Abstract

  Mit der zunehmenden Komplexität automatisierter Fahrfunktion entsteht der Bedarf nach schnellen, durchgängigen, wiederverwendbaren und präzisen virtuellen Testumgebungen. In diesem Vortrag werden die Herausforderungen, Anforderungen und Ansätze des digitalen Testens bei Bosch im hochautomatisierten Fahren vorgestellt.

Dr. Andreas Keis, Airbus Defense & Space

Vortragsfolien (passwortgeschützt)

Øystein Engelhardtsen, DNV AS

• Abstract

  With the potential to increase safety and efficiency while reducing environmental impact, autonomous technology is expected to have a major impact on how we move goods and people around the world’s oceans in the future. Similar to application of autonomous technology in other sectors, one of the greatest challenges to autonomous shipping is to be able to provide solid grounds of confidence that such systems are able to reach the required safety levels. To enable this, new tools, processes and strategies for assurance will be needed and DNV is in the pursuit of developing a tailored assurance framework for this purpose.

Vortragsfolien (passwortgeschützt)

Samuel Rieder, CertX AG

• Abstract

  Bei der Entwicklung einer dezentralen multimodalen Verkehrslenkungsarchitektur (Polycentric Multimodal Architecture) wird die virtuelle Absicherung durch Simulationen verwendet, bevor die Konzepte dann in Living Labs getestet werden.vEinige Stichworte sind: SysML Entwicklung, Aimsun Verkehrsflusssimulation, MATLAB, python. CertX ist Spezialist für Funktionale Sicherheit, Cybersecurity in mehreren Anwendungsfeldern.

Vortragsfolien (passwortgeschützt)

Prof. Dr. Ina Schaefer, Lukas Birkemeyer, TU Braunschweig

• Abstract

  Der SOTIF-Standard beschreibt Szenario-basiertes Testen als State-of-the-Art für die Absicherung von hochautomatisierten Fahrfunktionen. Eine praktische Umsetzung wird im Wesentlichen durch zwei Herausforderungen verhindert: (1) Wie werden Mengen von repräsentativen Szenarien ausgewählt? (2) Wie werden Mengen von Szenarien bewertet? In Rahmen dieses Vortrags werden Szenarien mit Hilfe von Techniken des Variabilitätsmanagements aus einem definierten Szenarienraum ausgewählt und anschließend mit einem Mutation Score als Metrik bewertet. Der Szenarienraum wird in einem Featuremodel abgebildet und die Auswahl einer repräsentativen Menge von Szenarien mit Feature-Interaction Coverage Sampling realisiert. Der Mutation Score bewertet die Fähigkeit einer Menge von Szenarien Fehler zu finden. Beide Konzepte werden mit einem industriellen Simulator am Beispiel von zwei unabhängigen Implementierungen eines automatischen Notbremsassistenten evaluiert. Die Ergebnisse zeigen, dass das Featuremodel einen Szenarienraum abbildet, mit dem alle Mutanten detektiert werden können. Außerdem zeigen die Ergebnisse, dass Feature-Interaction Coverage Sampling den Testaufwand signifikant reduziert und gleichzeitig die Effektivität im Sinne des Mutation Scores bewahrt. Die Ergebnisse unterstreichen das Potential, das etablierten Methoden der Softwareentwicklung mitbringen, um das Testen von Fahrerassistenzsysteme in der Automobilindustrie zu verbessern.

Dr. Hardi Hungar, DLR e.V.

• Abstract

  Assuring the safety of an automated driving system is difficult, because a large, heterogeneous set of traffic situations has to be handled by the system. Systematic testing of the full system at the end of the development seems necessary to be able to reach the required level of assurance. In our approach, the set of potentially relevant, concrete test cases result by parameter instantiation from finitely many more abstract, so called logical scenarios. For nearly all interesting automation systems, even virtual testing via simulation can cover only a tiny fraction of this set of concrete test cases. Here we present an approach by which a selection of test cases can be shown to be sufficient to assert the system’s safety. For that, we make reasonable assumptions about the system’s inner workings, and about the way safety of a traffic situation can be captured mathematically. Based on these assumptions, a criterion for sufficient test coverage can be derived. We continue by giving the concept of an exploration procedure which achieves a coverage meeting this criterion. In the context of ongoing research projects which develop and apply simulation tools for the verification and validation, we are in process of elaborating on this concept, implementing, and testing it .

Vortragsfolien (passwortgeschützt)

Dejan Nikovic, AIT Austrian Institute of Technology

• Abstract

  Autonomous driving is a major priority of our modern society with the great promise of dramatically reducing human fatalities and decreasing pollution. While many advances have already been achieved over the past decade, such as Tesla’s cars driving in Autopilot mode on various roads within the US, the very accidents of some of these cars clearly expose the vulnerabilities of the current state-of-the-art. Will we ever be able to fully trust autonomous-driving controllers? What is needed so we can light-heartedly entrust our children to such highly automated vehicle, having them shuttled unattended across town? Human drivers have to prove their abilities to a driving examiner, before being allowed to drive autonomously. ADEX (Autonomous Driving Examiner) is an Austrian national project that, following this analogy, proposes a multidisciplinary approach to the design and synthesis of an autonomous-driving examination, which is agnostic to the particular design of an autonomous-driving controller, to expose its vulnerabilities or unknown flaws. The driving examination consists of a set of realistically simulated traffic situations, called scenarios, with various environment (other agents, weather, road, etc.) conditions. A special emphasis is put on edge cases rarely occurring in normal traffic, to allow uncovering hidden issues. For the autonomous-driver such edge cases might represent system limiting situations. Analysis of real-world traffic accidents is used to synthetically generate new, realistic and critical traffic scenarios for testing. Actions of the autonomous-driving controller are thoroughly quantified in form of rewards, that are then exploited by reinforcement-learning techniques, to more and more generate traffic situations in which the autonomous-driving controller would fail (towards safety, regulation and comfort criteria). As for the human-driving examination, if an autonomous-driving controller passes it, we as a society will achieve a greater confidence in the system’s reliability and will be more inclined to accept it on our roads. In this talk, we present the outline of ADEX and show the preliminary results achieved in the first year of the project.

Vortragsfolien (passwortgeschützt)

Markus Gros, Janek Jochheim, BTC Embedded System AG und dSPACE

• Abstract

  A major trend in the automotive industry is the increase of automated driving functions starting advanced driving assisting systems (ADAS), that significantly increase the safety and comfort of the driving experience and ranging until autonomous driving (AD) functions that partially or fully control the vehicle creating the base for completely new mobility concepts. A major unsolved challenge for the development of such systems is validation of the driving function against the required safety goals. This is a crucial step to release the vehicle on the road, independently of whether the certification is done via homologation (like in Europe, Japan or China) or via self-certification by the manufacturer (like in US). Due to the complexity of the modern traffic ecosystem, it is assumed that billions of kilometers must be validated before an ADAS/AD system can be considered as safe as a skilled human driver. In this talk, dSPACE and BTC Embedded Systems will present 10 challenges for the efficient validation and homologation of autonomous vehicles and how the collaboration between the two companies is addressing them. Topics include the realistic virtualization of the real world, data management, scalability for simulation, scenario creation, automatic scenario generation as well as metrics which finally allow us to measure completeness of the overall validation process.

Vortragsfolien (passwortgeschützt)

Dr. Mirko Knaak, IAV GmbH

• Abstract

  Die Absicherung einer KI-basierten Komponente hat besondere Herausforderungen, weil sie als lernendes System die Sicherheitsanforderungen nicht über spezifische Regeln, sondern über Daten abdecken muss. Darum müssen bisherige Absicherungstechniken sowie Standards für die funktionale Sicherheit auf um die besonderen Entwicklungszyklen beim Maschinellen Lernen erweitert werden. Obgleich das Thema Zertifizierung von KI-Komponenten in den letzten Jahren eine große Aufmerksamkeit sowohl in der Forschung als auch in der Standardisierung genossen hat, verbleiben zahlreiche offene Punkte. Zu diesen gehört eine mangelnde Verknüpfung zwischen konkreten technische prüfbaren Kriterien auf der einen Seite und den abstrakten Anforderungen auf der anderen Seite. Auf der abstrakten Ebene gibt es bereits viele Vorschläge und potentielle Anforderungen an eine sichere KI. Beispiele sind der Leitfaden zur Gestaltung von vertrauenswürdiger KI oder verschiedene Spezifikationen für Normen wie DIN SPEC 92001. Für konkrete Prüfkriterien gibt es ebenfalls gute Forschungsergebnisse und erste Toolboxen für den Nachweis, dass auf der konkreten Detailebene bestimmte Ziele der KI erreicht werden. Was jedoch fehlt, ist ein strukturiertes Vorgehen, wie man aus diesen Einzelnachweisen eine Argumentation erstellt, dass die auf der oberen Ebene erstellten Zielvorgaben tatsächlich erreicht werden. Diese Zusammenstellung ist aktuell noch manuell und einzelfallbasiert. Im Vortrag wird darum ein strukturiertes Vorgehen entlang des Lebenszyklus einer KI vorgeschlagen. Darauf basierend wird eine Toolbox für die partielle Automatisierung dieses Prozesses und der finalen Abprüfung vorgestellt. Den Abschluss bildet eine Anwendung auf ein reales Beispiel für eine KI auf Zeitreihenbasis.

Dr. Christian Heinzemann, Robert Bosch GmbH

• Abstract

  Due to the impressive performance of deep neural networks (DNNs) for visual perception, there is an increased demand for their use in automated systems. However, to use deep neural networks in practice, novel approaches are needed, eg for testing. In this presentation, we focus on the question of how to test deep learning-based visual perception functions for automated driving. We review and discuss existing work on testing DNNs for visual perception with a special focus on automated driving for test input and test oracle generation as well as test adequacy. We conclude that testing of DNNs in this domain requires several diverse test sets with specific test purposes. We outline how such test sets can be constructed with the help of the presented methods .

Vortragsfolien (passwortgeschützt)

Prof. Sanjit Seshia, University of California at Berkeley

• Abstract

  Verified artificial intelligence (AI) is the goal of designing AI-based systems that have strong, verified assurances of correctness with respect to mathematically-specified requirements. This goal is particularly important for autonomous and semi-autonomous systems. In this talk, I will consider Verified AI from a formal methods perspective and with a special focus on autonomy. I will describe the challenges for and recent progress towards attaining Verified AI, with examples from the domain of intelligent cyber-physical systems, with a particular focus on deep neural network-based autonomy in transportation systems .

Vortragsfolien (passwortgeschützt)