5 Mario, in einem Post auf dem Blog des Fraunhofer IKS beschreibst Du, »Why safety matters«, also warum Safety wichtig ist. Kannst Du das kurz zusammenfassen ? Mario Trapp: Sicherheit im Sinne von Safety heißt für uns, dass von Systemen keine Gefahr für den Menschen ausgehen darf. Das gilt zum Beispiel für autonome Fahrzeuge, Medizinprodukte, aber auch für Maschinen. Natürlich gibt es immer ein Restrisiko, man kann nie eine hundertprozentige Sicherheit garantieren. Und die Gesellschaft definiert Regeln, was sie als akzeptables Restrisiko em pfindet. Dieses Restrisiko müssen wir nachweislich unter- schreiten. Das ist insbesondere wichtig, wenn wir auf intelligente Systeme schauen wie beispielsweise Künstliche Intelligenz (KI) oder vor allem das Maschinelle Lernen. Bei Safety ist es allerdings wichtig zu betonen, dass wir keine akademischen Diskussionen führen, sondern uns immer wieder bewusst machen, dass es um die Sicherheit von Menschenleben geht. Simon Burton: Häufig wird argumentiert, dass Technologie die Welt sicherer macht. Auch beim autonomen Fahren: Rund 85 Pro- zent der Verkehrsunfälle gehen auf menschliche Unachtsamkeit zurück. Je mehr autonome Autos also auf den Straßen unterwegs sind, desto sicherer wird der Verkehr. Anders ausgedrückt: Wenn weniger Menschenleben durch unaufmerksame Fahrer gefährdet würden, dann kann es sein, dass die Bereitschaft steigt, einige wenige Unfälle durch technische Unzulänglichkeit der Systeme in Kauf zu nehmen. Eine positive Risikobilanz, wie von der Ethikkom- mission vorgeschlagen, ist für uns eine notwendige, aber nicht hinreichende Bedingung. Wie wird Sicherheit von Systemen im Sinne von Safety garantiert ? Mario Trapp: Wir gingen bislang immer von statischen System- kontexten aus, das heißt, das komplette System ist vollständig spezifiziert, mit all seinen Konfigurationen, allen Schnittstellen zu anderen Systemen und allen möglichen Einsatzkontexten. Darauf basierend erfolgt eine Analyse möglicher Systemfehler, Gegen- maßnahmen werden definiert und dann wird ein entsprechender Nachweis geführt, dass das System sicher ist. Das ist Safety Now. Simon Burton: Bis jetzt kann man Safety mit der Frage umschrei- ben: »Was passiert, wenn im System etwas kaputtgeht ?« Das heißt, man hat versucht, die Systeme in erster Linie robust gegen Kom- ponentenfehler zu machen. Und natürlich auch nachvollziehbar zu argumentieren, dass diese Ebene des Schutzes ausreichend ist. Interview