Vortragsfolien (passwortgeschützt)

• Abstract

  In the field of safety management of complex systems it is reasonable to distinguish between “functional safety cases” and those, which we may label “operational safety cases”. “Functional safety” is about cases where some (sub-)function of a system goes wrong due to a local component failure, a signal error or a software bug. Functional safety issues are both, easy to predict and to cover at design time, and easy to detect and to compensate at run time of the system. Generally this is achieved by automated means. Well established Methods like FMEA, MBSE, failure injection techniques as well as various bench and route proving test strategies are applied to obtain a quite complete failure coverage. The same applies for functional failure monitoring and recovering techniques being used to maintain the desired safety margin of the system during run time. In contrast to this “operational safety” cases are much more difficult to identify at design time and even harder to detect as such at run time, while being nearly impossible to compensate by automated means. Operational safety cases concern system failures, where all systems functions perform as specified, but the system exhibits erratic behavior, either due to unforeseen constraint conflicts between some sub-functions within the system or by an inadvertent mismatch of some system states with the environmental operating conditions, under which the system actually performs. Obviously the operational safety issue is a problem of the correctness, completeness and consistency of the design requirements – in other terms: a matter of the validation quality. If the validation coverage could be complete, operational safety issue won’t happen! This however, is an illusion. The present paper therefore addresses the aspects of operational safety cases at system run time: - How to identify operational safety cases (i.e. validation flaws that slipped the design validation quality gates) - How to recover from operational safety situations in order to regain the required safety margin - The means of semi-automated and automated management of human induced operational safety cases, w.r.t. human – machine – interference and – awareness.

Vortragsfolien (passwortgeschützt)

• Abstract

  The homologation of highly automated vehicles to be used on public roads poses several challenges. One of them is the complexity and heterogeneity of the operational design domain. The intricacies of the automation system itself add to this. This leads to a huge, difficult to describe test space, which is impossible to cover sufficiently well by real-world tests. So, virtual techniques, ie. simulation, will constitute a necessary ingredient of any test-based assurance method. The talk discusses challenges and some solution concepts, addressing validity, range, contribution types, and application procedures of simulation. First: If its results shall contribute factual evidence for the safety of a system in an application scenario, the most basic requirement on simulation concerns the validity of single runs. Ideally, the simulated scenario would deviate only marginally from its real counterpart. How can this be achieved, and, if accomplished, how can this be proven? These questions raise both methodological and practical questions. Next, there is the problem of a potentially limited range of applicability of simulation. These bounds must be clearly delineated, and will require additional, complementary techniques extending the scope. Then, simulation must be flexible enough to answer questions of different types on several levels of abstraction: Both queries of more discrete nature (eg., whether a decision taken by the driving function is correct) and of complex hybrid nature (eg., where precise modeling of driving dynamics become relevant) are to be processed. And the huge test space makes it necessary to use simulation resources economically. And also, simulation will not be performed for a fixed set of concrete scenarios. But it will have to explore huge scenario spaces to compute verdicts which can be relied upon, where computing resources will only permit to run only a small fraction of the scenarios. The problems sketched above will certainly need thorough research and development endeavors in the years to come, and will be in the scope of the new SafeTRANS working group intended to be formed. But of course, already today there are some approaches to this complex of challenges. For each of the listed aspects, solution ideas, concepts, and preliminary or even promising constituents are presented. In particular, contributions to this area coming from the ongoing collaborative large research projects SET Level (setlevel.de/en) and VVM (www.vvm-projekt.de/en) are shown.

Vortragsfolien (passwortgeschützt)

• Abstract

  Bringing autonomous vehicles onto the road is one of the biggest challenges the automotive industry is currently facing. This does not only concern the development of such systems regarding sufficiently precise and reliable perception and planning components, but in particular also the process and methodology to show that those systems safely operate in their intended operational design domain (ODD) and do not induce unreasonable risks. Due to the complexity and diversity of the ODD and possible system behavior, traditional methods for homologation are no longer practically applicable because they would require to drive billions of miles in reality. Hence, new approaches are necessary to address this challenge involving in particular virtual verification and validation methods, which enable to reduce the number of miles to be driven in reality to a feasible amount. In the ATLAS-L4 project MAN and BTC Embedded Systems together with further academic and industrial partners take up this challenge and show how the homologation of a Level 4 truck can be achieved by applying virtual verification and validation methods.    

Vortragsfolien (passwortgeschützt)

• Abstract

  Wie auch viele andere Industrien sieht sich die Automobilbranche den Herausforderungen an eine durchgängige Entwicklung, Validierung und Homologation ihrer zunehmend digitalen und vernetzten Produkte ausgesetzt. Bisher auf Normen und das klassische V-Modell gestützt, erfordern insbesondere Software-basierte automatisierte Systeme nun datengetriebene, iterative und agile Entwicklungsmethoden. Es ist absehbar, dass der vielfach praktizierte Ansatz zur Datenerhebung, Algorithmenentwicklung und –auslieferung sowie dezidierter Testfahrten für die Erfassung relevanter Fahrsituationen ein signifikantes Innovationshemmnis darstellt und kaum die Absicherungsanforderungen von gesteigerter Komplexität und Datenfülle berücksichtigt. Die Erarbeitung eines neuen datengetriebenen Entwicklungsprozesses sollte dementsprechend darauf abzielen, möglichst effizient und sicher die Homologation zu erreichen und die Compliance- Anforderungen an einen solchen Prozess zu erfüllen. Das heißt, die Anforderungen der relevanten UN ECE Regelungen (z.B. R155, R156, R157) und weiterhin einschlägiger heutiger und zukünftiger Sicherheitsstandards, wie z.B. ISO 26262 (Functional Safety), ISO 21448 (SOTIF) und ISO 21434 (Cybersecurity Engineering), müssen erfüllt werden. In diesem Beitrag wird ausgehend von etablierten Praktiken im Automobilbereich ein Ansatz eines durchgängigen digitalen und datengetriebenen Entwicklungsprozesses dargestellt. Dieser ist hochautomatisierbar und sicher zugleich, erfüllt die relevanten Sicherheitsstandards und verbindet die Expertisen von technischen Diensten, Herstellern und Absicherungsexperten in einem digitalen Entwicklungskreislauf. Die Zielsetzung ist es, dass software- und datenbasierte Funktionen künftig durchgängig entwickelt, verbessert, zugelassen und während des Betriebes aktualisiert werden. Dabei spielen Anomaliedetektionen in der autonomen Flotte eine ebenso zentrale Rolle, wie die V&V-Pipeline, die direkt im Backend nahtlos in einer Continuous-X-Lösung während des Betriebs der Fahrzeuge ausgeführt wird und die Sicherheit der Fahrfunktionen messbar sicherstellt. Technische Dienste sind somit in der Lage kontinuierlich zulassungsrelevante Funktionen zu homologieren. Für den Aufbau eines solchen Systems sind verschiedene Lösungsbausteine relevant, die iterativ durchlaufen werden. Diese umfassen Komponenten innerhalb der einzelnen Fahrzeugsysteme einer Flotte, eine intelligent orchestrierte Datenübertragung, Validierungs- und Homologationskomponenten im Backend, sowie einen Kanal für sicherheitsrelevante Over-the-Air Updates als Rückkopplung in die Flotte. Da die Simulation und die Automatisierung der Prozesse eine zentrale Rolle bei der Digitalisierung der Homologation und der Prozessierung der Daten spielt, ist der Ansatz eines Digitalen Zwillings für die Virtualisierung von Fahrfunktionen unabdingbar. Die Kombination dieses Ansatzes mit den Möglichkeiten schneller Datenverbindungen wie 5G und performanter Daten- und Computer Backends, ermöglicht es heute schon Entwicklungsprozesse zu digitalisieren und etablierte Ansätze disruptiv zu ersetzen. Der oben dargestellte Ansatz wird in diesem Beitrag skizziert, kritisch bewertet und zur Diskussion gestellt. Es werden Herausfordergen dargestellt, die auf diesem Weg noch zu meistern sind, wie z.B. die Vertrauenswürdigkeit von Simulationen, digitaler Zwillinge und konsequenter Prozessautomatisierungen. Es werden Chancen aufgezeigt, die ein solcher Ansatz mit sich bringt, wie die effizientere Gestaltung von Homologationsprozessen, schnelleres Defect-handling und Software Updates Over-the-Air.

Vortragsfolien (passwortgeschützt)

• Abstract

  Für einen klimaneutralen und attraktiven Verkehrsmix ist der effiziente und verlässliche Betrieb des Schienenverkehrs ein wesentlicher Bestandteil. Hierbei ist eine Automatisierung nach GoA4, d.h. der vollkommen Fahrer- und begleiterlose Zugbetrieb, ein wichtiger Baustein. Während dieser in abgeschlossenen Umgebungen (z.B. U-Bahnen) heute schon realisiert ist, kann dieses Ziel nach dem Stand der Technik in den vorherrschenden komplexen Umgebungen durch klassische Automatisierungstechnologien allein nicht gelöst werden. Andererseits gibt es bei der Entwicklung von Technologien im Bereich des hochautomatisierten Fahrens (auf Straße & Schiene) bemerkenswerte Fortschritte, die auf der Leistungsfähigkeit von Künstlicher Intelligenz (KI) basieren. Eine wesentliche ungelöste Herausforderung ist dabei die Verknüpfung der KI-Verfahren mit den Anforderungen und Zulassungsprozessen im Bahnumfeld. In safe.trAIn arbeitet ein Konsortium aus der Bahnindustrie,Technologiezuliefern, Forschungseinrichtungen sowie Normungs- und Prüforganisationen in einem gemeinschaftlichen Vorhaben, um die Möglichkeiten von KI mit den Sicherheitsbetrachtungen des Schienenverkehrs zu verbinden und eine Lösung am Beispiel des fahrerlosen Regionalzugs praktikabel umzusetzen. Basierend auf den Anforderungen an die Sicherheitsnachweisführung werden Prüfmethoden und -werkzeuge für KI-basierte Methoden erforscht. Es wird eine Sicherheitsarchitektur am Beispiel des fahrerlosen Regionalzugs erarbeitet. Zudem wird ein GoA4-System für diesen Anwendungsfall in einem virtuellen Testfeld konzeptionell entwickelt und validiert. Arbeiten aus verwandten Industrien und Projekten (beispielsweise aus dem Bereich Automotive) werden aufgegriffen.

Vortragsfolien (passwortgeschützt)

• Abstract

  We review software-based technologies already known to be or expected to become essential for autonomous train control systems with grade of automation GoA 4 (unattended train operation) in existing open railway environments. It is discussed which types of technology can be developed and certified already today based on existing railway standards. Other essential technologies, however, require modifications or extensions of existing standards, in order to provide a certification basis for introducing these technologies into non-experimental “real-world” rail operation. Regarding these, we check the novel pre-standard ANSI/UL 4600 with respect to suitability as a certification basis for safety-critical autonomous train control functions based on methods from artificial intelligence. As a thought experiment, we propose a novel autonomous train controller design and perform an evaluation according to ANSI/UL 4600. This results in the insight that autonomous freight trains and metro trains using this design could be evaluated and certified based on ANSI/UL 4600. Just as in the field of autonomous road vehicles, the complete set of verification and validation (V&V) tasks to be performed in order to demonstrate functional system safety and operational safety is so large that V&V needs to be at least partially virtualized. In this context, we discuss the following questions and suggest (at least partial) solutions: (a) How can results about functional correctness on module level help to determine whether sufficient test coverage has been achieved on system level? (b) Which conditions should be fulfilled to obtain certification credit for virtualized (e.g., cloud-based) module and system tests? (c) How can we determine that the percentage of system-level tests with the real target system is sufficiently high? (d) What are the main challenges to be overcome to obtain trustworthy virtualized tests for operational safety? The results presented in this talk have been elaborated in the context of BMWi (Federal Ministry of Economics and Technology) project HiDyVe – Highly Dynamic Virtual and Hybrid Validation and Verification. In the context of HiDyVe, new V&V approaches for highly complex, potentially autonomous cyber physical systems in the transportation domain are investigated.

Vortragsfolien (passwortgeschützt)

• Abstract

  Traditionally, driving simulators are used to investigate driver responses to manipulations in the driver-vehicle-environment triangle, such as adding distractors or introducing low visibility driving conditions. This usually implies that the driver has full control of the vehicle all the time. In reality however, the situation is more complicated. Nowadays, cars are often equipped with Advanced Drivers Assistance Systems such as adaptive cruise control and lane keeping assistance systems and it seems only a matter of time before highly automated vehicles will be really accepted on public roads. In these human-vehicle systems the task of safely controlling a vehicle can be switched or even shared between the human driver and the vehicle software. It may be argued that this complicates the task of the human driver who may now be responsible for monitoring an automated system and managing task allocations between de vehicle software and the human driver. As vehicles become more automated and connected, licensing agencies such as The Netherlands Vehicle Authority (RDW) are faced with the challenge how to evaluate the safety of these vehicles. In 2019 the so-called ‘experiment law’ went into effect in the Netherlands, allowing experiments with highly automated vehicles on public roads. As part of the exemption procedure an analysis 1) of the entire technical system is made, including the way the car is remotely operated and 2) an analysis of the expected traffic safety effects as related to interaction with human drivers, such as other traffic. One way to facilitate the safety analysis of given human-vehicle system, is by testing both the human driver and the software module exerting vehicle control in simulated conditions. To investigate the feasibility of this approach we transferred the open-source software module called openpilot as used by Comma 3 into the CARLA simulation environment. Comma 3 utilizes two camera’s and a connection with the CAN bus to effectively turn a car equipped with lateral and longitudinal ADAS into a partially automated system (i.e. changing from SAE level 1 to level 2). As a first step, 1) we probed how Time Headway (THW) is processed and used by openpilot software during car following conditions, as it represents a safety-critical measure in driving. In addition, 2) we explored an alternative way to process THW by creating a ‘tailgating detection’ service within openpilot which may be used to warn or coach drivers. The potential of this virtual assurance approach for the safety analysis of various levels of vehicle automation are envisioned.

Vortragsfolien (passwortgeschützt)

• Abstract

  Heutige Systeme werden immer größer und komplexer – damit aber auch leistungsfähiger. Werden solch umfangreiche Systeme in sicherheitskritischen Umgebungen eingesetzt, ist ein belastbarer Sicherheitsnachweis unerlässlich. Die traditionelle Absicherung über Tests und Versuche am physischen Modell stellt dabei einen enormen Kosten- und Aufwandstreiber dar. Aus diesem Grund ist ein zunehmender Transfer physischer Objekte und deren komplexe Zusammenschaltung in die virtuelle Wirklichkeit festzustellen. Liegen Informationen zu einem gegebenen Anwendungsfall vor, ist die Nutzung von Methoden der Künstlichen Intelligenz (KI) auf diesen Datensätzen der natürliche nächste Schritt. Doch die Anwendung von KI-Methoden stellt hohe Anforderungen an die gesamte Prozesslandschaft – insbesondere, wenn die Resultate der KI-Systeme als Basis für weitere (automatisierte) Verarbei-tungsschritte dienen sollen, oder wenn daraus Verifikations- und Validierungsschlussfolgerungen abgeleitet werden. Um verlässliche KI-Systeme in sicherheitsrelevanten Szenarien sinnvoll nutzen zu können, bedarf es einer gesamtheitlichen Betrachtung der KI-Prozesskette. Diese umfasst neben den Daten auch die Modellerstellung, die Validierung, den Lebenszyklus und fachliche Aspekte solcher Systeme. Des Weiteren sind grundlegende Betrachtungsweisen und Kenntnisse im Umgang mit KI-Systemen als essentiell anzusehen, um für einen Sicherheitsnachweis den Grad der virtuellen Absicherung für eine KI-Prozesskette hinreichend genau ermitteln zu können. In diesem Beitrag soll ein Leitfaden skizziert werden, der eine verbesserte Verwendung von KI-Methoden und Technologien in traditionellen Prozessketten ermöglichen soll. Zusätzlich werden wesentliche Denkweisen zur Verwendung von KI-Systemen dargestellt.