Prof. Dr. Simon Burton, University of York

• Abstract

  This presentation provides an overview of the upcoming standard ISO PAS 8800 Road Vehicles - Safety and AI, as well as the wider context of safety standards in this area.
  The motivation behind the structure and key concepts of ISO PAS 8800 is explained, including how these can be interpreted in combination with ISO 26262 and ISO 21448. ISO PAS 8800 proposes an AI safety life cycle which takes an iterative approach to eliciting requirements on the AI system, developing and testing the system and validating it within the system context. The various phases of this safety lifecycle are presented, including treating training and verification datasets as safety-relevant work products themselves, thus requiring the allocation of safety requirements, verification and safety analysis. A core requirement of the standard is also the production of a safety assurance argument that is continually maintained during operation. This ensures that that risks are re-evaluated as previously unknown insufficiencies in the system come to light and that changes in the system or the environment do not undermine the validity of the argument.
  The application of ISO PAS 8800 must be understood within the wider context of the evolving landscape of safety and AI standards as well as regulations, both for automated driving as well as AI in general. In addition, both the technologies, as well as the use cases for automotive AI applications are constantly evolving. The presentation therefore gives an overview of future standardization activities within the ISO TC 22/SC32/WG 14 Road Vehicles – Safety and AI working group.

Dr. Rasmus Adler, Fraunhofer IESE

• Abstract

  Die Anwendung von Künstlicher Intelligenz (KI) im safety-kritischen Kontext birgt enormes wirtschaftliches Potenzial aber auch große Herausforderungen für die Forschung. Trotz unbeantworteter Forschungsfragen entstehen gerade eine Reihe von technischen Regelwerken, die Hilfestellung geben sollen, um KI im safety-kritischen Kontext einzusetzen. Dies geschieht sowohl in den einzelnen Anwendungsgebieten wie Fahrzeugtechnik als auch anwendungsübergreifend (z.B. in [1] und [2]). Bei den Lösungsansätzen lassen sich dabei zwei Stoßrichtungen erkennen. Zielbasierte Ansätze wie der in ISO/DPAS 8800 für Safety und KI bei Straßenfahrzeugen fordern eine Verfolgbarkeit zwischen der Anwendung von Methoden wie Testmethoden und der Qualitätseigenschaft Sicherheit. Aus wissenschaftlicher Sicht ist dies ein sauberer Weg. Aber eben nur ein Weg: Eine generische Roadmap für empirische Forschung, die für den konkreten Fall umgesetzt werden muss, da unklar ist welche Maßnahmen wie effektiv ist und wie Maßnahmenbündel im konkreten Fall zusammenwirken, um spezifische Ziele zu erreichen. Regelbasierte Ansätze liefern Anwendern ein Schema wie sie Maßnahmen auswählen, um Sicherheit zu erreichen, aber ohne wissenschaftliche Erklärung des Schemas zur Auswahl. Bezüglich KI gibt es bisher auch keine Nachweise, dass diese Ansätze auch tatsächlich zur gewünschten Sicherheit führen (können). Der Report ISO/IEC TR 5469 für funktionale Sicherheit und KI-Systeme nennt beispielsweise Methoden und Prozesse, um KI im safety-kritischen (anwendungsunabhängigen) Kontext zu nutzen. Die auf dem ISO/IEC TR 5469 aufbauende Spezifikation ISO/IEC TS 22440 wird in Teil 1 Anforderungen definieren, in Teil 2 Hilfestellung für deren Umsetzung geben und in Teil 3 Anwendungsbeispiele liefern. Die wissenschaftliche Erklärung, warum Sicherheit erreicht wird, wenn die Anforderungen in Teil 1 erfüllt sind, wird aber nicht entwickelt. Voraussichtlich werden etablierte Safety-Integritätslevels verwendet, um festzulegen welche Maßnahmen unter welchen Umständen empfohlen werden. Dies wirft einige Fragen auf: Sollen die empfohlenen KI-Maßnahmen für ein Sicherheitslevel ebenso effektiv sein wie die herkömmlichen Maßnahnahmen für dieses Sicherheitslevel? Falls ja, wie misst man die Effektivität der Maßnahmen? Sollte man eine neue Klasse von Fehlern und Maßnahmen definieren, um mit Unsicherheit bei KI umzugehen? Falls ja, wie definiert man KI-Unsicherheit (cf. DIN SPEC 92005 und ISO/IEC AWI TS 25223) und wie berücksichtigt man KI-Unsicherheit beim Integritätslevel (cf. VDE AR 284261 und lamdaAI oder Uncertainty Confidence Indicator UCI)?
  Der Vortrag gibt eine Übersicht über aktuelle Entwicklungen in der Normung zu Safety und KI, zeigt Ansätze, Zusammenhänge, Inkonsistenzen und Lücken auf, und weist auf aktuelle Debatten in der Normung hin. Dabei geht er auf zugehörige Forschungsbedarfe ein und lädt die Teilnehmer ein, die eigene Meinung einzubringen.
  [1] ISO IEC JTC 1 SC 42
  [2] CEN CENELEC JTC 21
  [3] ISO/DPAS 8800 Road vehicles — Safety and artificial intelligence
  [4] ISO/IEC TR 5469:2024 Artificial intelligence — Functional safety and AI systems
  [5] ISO/IEC AWI TS 22440-1 Artificial intelligence — Functional safety and AI systems
  [6] ISO/IEC AWI TS 22440-2 Artificial intelligence — Functional safety and AI systems
  [7] ISO/IEC AWI TS 22440-3 Artificial intelligence — Functional safety and AI systems
  [8] DIN SPEC 92005 Artificial Intelligence - Uncertainty quantification in machine learning
  [9] ISO/IEC AWI TS 25223 Artificial intelligence — Guidance and requirements for uncertainty quantification in AI systems
  [10] VDE AR 2842-61

Philipp Schleiß, Fraunhofer IKS

• Abstract

  Im Bereich der hochautomatisierten Systeme spielt das Thema des unvollständigen Wissens
  eine immer größere werdende Rolle. Durch den Einsatz der Systeme in offenen Betriebskontexten,
  dem Auftreten von Messungenauigkeiten, dem Einsatz neuer Technologien und der damit
  zusammenhängenden zunehmenden Komplexität, entstehen Unsicherheiten hinsichtlich des
  vollständigen Verständnisses des Gefährdungsrisikos und der Effektivität der gewählten Mitigationsmaßnahmen.
  Der Einsatz von KI zur Realisierung solcher hochautomatisierten Systeme fügt
  hierbei durch ihr unerklärbares Verhalten eine weitere Dimension der Unsicherheit hinzu.
  Standards wie ISO 21448 (Safety of the Intended Functionality) oder auch entstehende Standards
  wie ISO/AWI PAS 8800 (Safety and Artificial Intelligence) adressieren diese Probleme, lassen
  den Lösungsraum hinsichtlich der tatsächlich anzuwendenden Methoden aber entsprechend
  vage. Dieser Spielraum führt nicht selten zu Bedenken hinsichtlich der ausreichenden
  Auswahl an entsprechenden Methoden zur Erreichung eines akzeptablen Restrisikos. Im akademischen
  Kontext existieren diverse Lösungsansätze zur Absicherung solcher Systeme, bei denen
  der Reifegrad jedoch schwer ersichtlich ist. Somit ist es oft nicht einfach zu beurteilen, ob ein
  bestimmtes Absicherungsverfahren ein noch nicht ausreichend validiertes akademisches Konzept
  darstellt oder bereits für den industriellen Einsatz ausgereift ist.
  Konkret wird im diesem Vortrag ein mögliches Verfahren für die Verifikation und Validierung
  von KI-basierten Systemen im Kontext von ISO 21448 und der damit einhergehenden quantitative
  Restrisikobestimmung vorgestellt. Besonderer Fokus wird hierbei auf die statistische Belastbarkeit
  der Ergebnisse gelegt. Zudem werden für einige interpretationsbedürftige Anforderungen
  des Standards, wie z.B. der Auswahl eines hinreichenden statistischen Konfidenzniveaus, die
  Bedeutung von „Perfomance Targets“ im Kontext von KI oder die Reduzierbarkeit von „Validation
  Targets“ Lösungen erarbeitet. Darüber hinaus soll die Diskussion angeregt werden für welche
  Art von System ein solches Güteniveau hinsichtlich der statistischen Belastbarkeit der Restrisikobestimmung
  überhaupt praktisch realisierbar ist.
  Sprecher: Philipp Schleiß forscht seit 2013 bei Fraunhofer an industriell-anwendbaren Methoden
  zur Erhöhung der Zuverlässigkeit von eingebetteten und autonomen Systemen und leitete
  dabei erfolgreich eine Vielzahl von Kundenprojekten im Automobilbereich. Im Jahr 2019 begann
  er mit dem Aufbau einer Abteilung im Bereich „Systems Safety Engineerings“ am Fraunhofer IKS
  (Institut für Kognitive Systeme), wodurch der Stand der Technik auf dem Gebiet Absicherung
  von unsicherheitsbehaften Systemen erheblich vorangetrieben werden konnte. Seine derzeitigen
  Forschungsinteressen konzentrieren sich auf die werkzeugbasierte Designautomatisierung,
  die kontinuierliche Absicherung und die Sicherstellung des Echtzeitverhalten für das automatisierte
  Fahren.

Marc Zeller, Siemens AG

• Abstract

  Für einen klimaneutralen und attraktiven Verkehrsmix ist der effiziente und verlässliche Betrieb des Schienenverkehrs ein wesentlicher Bestandteil. Hierbei ist eine Automatisierung nach GoA4, d.h. der vollkommen fahrer- und begleiterlose Zugbetrieb, ein wichtiger Baustein. Während dieser in abgeschlossenen Umgebungen (z.B. U-Bahnen) heute schon realisiert ist, kann dieses Ziel nach dem Stand der Technik in den vorherrschenden komplexen Umgebungen durch klassische Automatisierungstechnologien allein nicht gelöst werden. Andererseits gibt es bei der Entwicklung von Technologien im Bereich des hochautomatisierten Fahrens (auf Straße & Schiene) bemerkenswerte Fortschritte, die auf der Leistungsfähigkeit von Künstlicher Intelligenz (KI) basieren. Eine wesentliche ungelöste Herausforderung ist dabei die Verknüpfung der KI-Verfahren mit den Anforderungen und Zulassungsprozessen im Bahnumfeld.
  In diesem Vortag werden die Herausforderungen bei der Absicherung von KI-Komponenten im Bahnbereich vorgestellt und gezeigt, wie die diese Herausforderungen im safe.trAIn Projekt gelöst wurden. Am Beispiel eines fahrerlosen Regionalzuges mit KI-basierter Hinderniserkennung wird gezeigt, wie eine Sicherheitsargumentation für eine KI-Komponente entwickelt wurde und welche Methoden zur Erzeugung von Evidenzen im Rahmen der Sicherheitsnachweisführung eingesetzt wurden.

Prof. Dr. Carsten Thomas, HTW Berlin

• Abstract

  Der Verkehrssektor spielt bei der Erreichung der Klimaschutzziele eine entscheidende Rolle. Die Bedeutung des Eisenbahn als nachhaltiges Transportmittel für Personen und Güter gewinnt deshalb immer mehr an Bedeutung; der Ausbau dieses Sektors durch den Bau neuer Strecken ist jedoch mit extrem hohen Investitionen und langen Planungsvorläufen verbunden. Digitalisierung und Automatisierung des Zugbetriebs sind Ansätze, um Verbesserungen im bestehenden Netz zu erreichen, durch schnellere Zugfolgen, Flexibilisierung der Streckennutzung, und Senkung
  der Betriebskosten.
  Eine wesentliche Rolle kommt dem ¨Ubergang zu fahrerlosem Betrieb (GoA3) zu. Technische L¨osungen in diesem Bereich nutzen üblicherweise Methoden der Künstlichen Intelligenz, wie künstliche neuronale Netze zur Auswertung von Sensordaten. Für diese KI-gestützte Lösungen sind aufgrund ihrer inherenten Komplexität und ihres Black-Box-Charakters die traditionellen Ansätze für Sicherheitsnachweise nur sehr eingeschränkt anwendbar. In unserem Vortrag stellen wir den Stand der Diskussion zu diesem Thema vor und geben einen Ausblick auf mögliche Vorgehensweisen. Ausgangspunkt bildet ein  Überblick über Einsatzgebiete von KI-gestützten Lösungen im fahrerlosen Bahnbetrieb und die daraus erwachsenden Sicherheitsanforderungen.
  Im Weiteren zeigen wir Problembereiche auf, die die Anwendung traditioneller Verfahren für den Sicherheitsnachweis solcher Lösungen verhindern, und schlagen dann mögliche Lösungsansätze und Verfahren vor und berücksichtigen dabei den Arbeitsstand in laufenden großen Fördervorhaben und Erkenntnisse aus eigenen Forschungsarbeiten.

Martina Flatscher, ZF Friedrichshafen AG

• Abstract

  In this presentation, I explore why AI ethics is a non-negotiable element in today’s technological landscape and how our company is actively implementing these principles. Discussing the newly introduced AI Act, this law requires companies to ensure that AI systems are transparent, well-documented, and classified according to potential risks. Our company has embraced AI ethics at both the corporate and operational levels to meet these requirements. At the corporate level, we have established an AI Ethics Council, which is tasked with ensuring that all AI projects and initiatives align with our core ethical values. This council plays a crucial role in overseeing that fairness, transparency, and accountability are maintained in all AI-related activities.
  On the operational side, we are committed to developing trustworthy AI through a clear and robust guideline. To ensure compliance, we have introduced AI checkpoints within our project controlling processes, which provide regular oversight and risk assessment throughout the AI development lifecycle. These checkpoints help us mitigate potential risks and guarantee that ethical standards are consistently applied in every phase of AI implementation. This dual approach, combining corporate oversight with hands-on operational controls, allows us to ensure that AI is deployed in a trustworthy, transparent, and responsible manner across all our projects. We safeguard not only the integrity of our AI systems but also the trust of our employees, stakeholders, and society at large.

Maria Lyssenko, Robert Bosch GmbH

• Abstract

  Standard perception evaluation metrics treat all objects in the scene equally irrespective of the potential collision risk and the relevance for a driving task. Consequently, errors produced by an object detector can critically impact the decision-making, as they yet remain concealed in generic metrics such as mean average precision (mAP). To ensure comfortable and safe driving it is mandatory to identify particularly planner-relevant objects, such as a crossing pedestrian in the vicinity of an AV (autonomous vehicle) and determine how critical errors in the perception of these objects can become.
  We propose functional metrics to evaluate how well perception algorithms perform for a specific driving tasks. Without implementing a concrete planner, we exploit available domain knowledge in form of reachable sets to determine the worst-case threat from the planner perspective and further, link the risk to the perception output. Rating the criticality of a (dynamic) object requires a prediction how the situation at hand may evolve given the current state. In the following, we use reachability analyses with physics-based motion models for such predictions. To account for the ambiguity in the object’s feasible motion, we leverage kinematic models based on differential inclusions that provide a safe over-approximation of the possible future locations of the AV and all other objects.
  Our evaluation results for 3D object detector on the nuScenes dataset show that already a rather simple threat metric such as time-to-collision (TTC) allows to select potentially dangerous interactions between the ego vehicle and e.g., a pedestrian when purely vision-based detections fail to accentuate such in the evaluation. Hence, reachable sets provide a safe overapproximation and offer a promising approach to abstract the downstream components of the AV. Further, the promising results pave the road toward safety-adapted training policies to enhance the model’s ability to detect task-relevant objects, or safety-monitoring approaches during deployment.

Enrico Astfalk-Richter, FEV etamax GmbH

• Abstract

  Künstliche Intelligenz (KI) ist in unserem Alltag weit verbreitet und kommt auch immer mehr in komplexen, sicherheitskritischen Anwendungen zum Einsatz. Wo Menschenleben, Umwelt und hohe Sachwerte auf dem Spiel stehen, kann Fehlverhalten nicht toleriert werden. Die Komplexität Neuronaler Netzwerke und ihre schwer durchschaubaren Entscheidungsprozesse stellen eine der größten Hürden für den Durchbruch der KI in sicherheitskritischen Anwendun-gen dar.
  Dabei ist es möglich, KI sicher einzusetzen. Es bedarf jedoch klarer Richtlinien und Sicher-heitsmaßnahmen, um Risiken zu minimieren. Aus diesem Grund hat FEV.io die „Guideline for AI in safety-critical applications“ entwickelt. Diese Guideline fasst wesentliche Grundlagen zu-sammen, die für eine sichere Anwendung von KI in allen Mobilitätslösungen erforderlich sind.
  Die Guideline enthält 15 Kernaussagen, welche sich auf die Bereiche „Functional specifica-tion“, „Architectural design“, „Implementation methods“ sowie „Training, testing and validation“ konzentrieren und so den kompletten Entwicklungszyklus technischer Systeme abdecken. Je-der einzelne Punkt mag auf den ersten Blick einfach erscheinen, doch gerade das Zusammen-spiel der einzelnen Faktoren ist entscheidend für ein sicheres Systemverhalten. Jede Kern-aussage wird mit einer kurzen Erläuterung und wissenschaftlichen Quellen ergänzt.
  Die Guideline bietet Ingenieuren und Entwicklern Sicherheit und Orientierung und kann als Checkliste für die Entwicklung sicherer KI-Anwendungen genutzt werden. Mit diesem Ansatz möchte FEV.io die Entwicklung intelligenter Systeme in sicherheitskritischen Bereichen för-dern.
  Die Guideline ist öffentlich verfügbar unter: https://tinyurl.com/FEVetamax
  Auf Basis der Guideline hat FEV.io Methodiken und Konzepte erarbeitet, die eine Entwicklung von Systemen mit KI-Komponenten sowie den Nachweis von sicherem Systemverhalten er-möglichen. Entscheidendes Umdenken ist dabei, dass Sicherheitsanforderungen in viel stär-kerem Maße das Systemdesign und die Architektur bestimmen, als dies bei konventionellen Systemen der Fall ist. Ebenso entscheidend ist die gesamtheitliche Betrachtung des System-verhaltens im Zusammenwirken von konventionellen und intelligenten Komponenten.
  Im Vortrag werden mehrere dieser zum Patent angemeldeten Konzepte vorgestellt und an-hand von Beispielen veranschaulicht.

Marcel Sonntag, RWTH Aachen 

• Abstract

  Die Anzahl von KI-Komponenten in automatisierten Fahrfunktionen nimmt stetig zu. Während die
  Verwendung in der Perzeption bereits der Standard ist, nimmt auch der Einsatz in der Entscheidungsfindung
  und Trajektorienplanung stetig zu. Dies wird unter anderem getrieben durch neue potentere KI-Modelle. Die
  Leistungsfähigkeit in der Anwendung hängt direkt von den für das Training der Modelle verwendeten Daten
  ab. Diese Daten enthalten definitionsgemäß zu einem großen Teil gewöhnliche Situationen, die regelmäßig
  vorkommen, sodass diese gut gelernt werden können. Ungewöhnliche bzw. seltene Situationen sind
  hingegen unterrepräsentiert. Dies können zum Beispiel ungewöhnliche Objekte wie Rehe auf der Straße
  sein, die die Perzeption und Entscheidungsfindung herausfordern. Zudem ist ungewöhnliches und
  unvorhersehbares Verhalten von bekannten Objekten herausfordernd für die Entscheidungsfindung und
  Trajektorienplanung. Diese ungewöhnlichen Situationen werden als Edge Cases bezeichnet. Dem
  Menschen hilft in solchen Situationen in der Regel die eigene Intuition. Für KI-Komponenten ist das
  Verhalten nicht a priori vorhersagbar, da sie als Blackbox agieren. Deswegen gilt es die KI-Komponenten
  neben den regulären Szenarien gezielt mit Edge Cases zu testen, um die Robustheit dieser gegenüber
  neuen und unbekannten Situationen zu evaluieren. So müssen Edge Cases systematisch in vorhandenen
  Daten identifiziert und gesammelt werden. Im EU-Projekt Hi-Drive wird dies in einem gemeinschaftlichen
  Ansatz umgesetzt. Zahlreiche OEMs sammeln mit automatisierten Fahrzeugen Daten im Realverkehr. In
  diesen Daten werden mithilfe verschiedener komplementärer Ansätze Edge Cases identifiziert und in einer
  Datenbank gesammelt. Diese wird durch externe Daten, zum Beispiel aus Unfalldatenbanken, angereichert.
  Basierend darauf werden Testfälle zur Absicherung automatisierter Fahrfunktionen abgeleitet. Dieses
  Vorgehen ist im Einklang mit der ISO 21448, die unter anderem vorsieht, die Anzahl an unbekannten
  potentiell gefährdenden Szenarien zu reduzieren.

Dominik Grund, DLR e.V.

• Abstract

  Artificial Intelligence (AI) plays an important role in managing complexity of automated driving. Nonetheless, training and ensuring safety of an AI is a challenging task. Especially the safe generalization from known to unknown situations remains an unsolved problem.
  Infusing knowledge into AI driving functions seems to be a promising approach to address generalization, development costs and training efficiency. A lot of prior knowledge exists for the automotive domain, but its representation differs in quality, type, and format. For instance, mathematical and physical knowledge is often already formalized and can be directly used for AI-Infusion without much effort. Unlike expert knowledge, e.g., traffic rules or court decisions, which are usually not given in a formalized way for integration. Especially in the shift of responsibility for essential driving decisions from humans to AI driving functions, it will be necessary to involve interdisciplinary experts and formalize their knowledge in order to infuse social and societal norms, as well as psychological or physiological aspects.
  In this presentation, we will present the capabilities of the visual yet formal specification language called Traffic Sequence Charts (TSCs) for formalizing multimodal knowledge, in particular knowledge about traffic maneuvers. We developed an approach using this formalized knowledge to train reinforcement learning (RL) agents, aiming to transform descriptive knowledge on traffic maneuvers in TSCs into performative knowledge in AI traffic agents. We were able to train an agent to control a vehicle through a pass-by maneuver and apply it successfully to an untrained overtaking scenario.
  In addition, formalized domain knowledge also provides a basis for validating and verifying an AI driving function. To this end, we present an online monitoring for checking the conformance of system behavior against multimodal knowledge formalized in TSCs. With our work, we show that the specification of abstract and multimodal knowledge using TSCs leads to concrete solutions able to support the improvement of AI performance, safety and trustworthiness.