SAFE INTELLIGENCE MAGAZIN Fraunhofer-Institut für Kognitive Systeme IKS We are Safe Intelligence 2022

3 Liebe Leserinnen, liebe Leser, die zweite Welle der Digitalisierung hat längst Wirtschaft und Gesellschaft erfasst. Sie ist tief in Branchen eingedrungen, die traditionell vom Maschinenbau geprägt waren. Dies zwingt viele etablierte Unternehmen, sich als Softwareunternehmen neu zu erfinden und den Wert ihrer Produkte durch softwaredefinierte Innovationen zu bestimmen und ihre Geschäftsmodelle von Produkten hin zu Services neu zu denken. Angetrieben wird die zweite Welle der Digitalisierung, wenn auch nicht ausschließ- lich, von der Kraft der Künstlichen Intelligenz (KI). Ausdruck dieser Entwicklung ist die rasant steigende Bedeutung von Kognitiven Systemen, also softwareintensiven techni- schen Systemen, die kognitive Fähigkeiten wie Wahrnehmung, Lernen und logisches Denken nachahmen. Mittlerweile sind solche kognitiven cyberphysischen Systeme der Innovationstreiber in vielen Anwendungsbereichen, etwa beim automatisierten Fahren, bei Medizingeräten oder der intelligenten Automatisierung in der Industrie 4.0. Wenn allerdings Kognitive Systeme ihr Potenzial am Markt voll entfalten sollen, müs- sen sie nachweislich sicher und zuverlässig sein. Und das trotz des Einsatzes Künstlicher Intelligenz, der rasant wachsenden Komplexität und der zunehmenden Vernetzung in cyberphysischen Plattform-Ökosystemen. Dieses Spannungsfeld aus maximaler Funktionalität durch modernste Technologien und der gleichzeitigen Gewährleistung höchster Qualitätsansprüche wird der Schlüssel zum Erfolg sein. Dafür steht Safe Intelligence – das Markenzeichen und der Markenkern des Fraunhofer-Instituts für Kognitive Systeme IKS. Anders gesagt: Das ist unsere DNA! Um diesem Anspruch zu genügen, widmen wir uns dem Engineering von Kognitiven Systemen und stellen das Gesamtsystem in den Mittelpunkt, nämlich im Hinblick auf Qualität und Nutzen. In diesem Sinne kombiniert das Fraunhofer IKS das Beste aus KI und Software Engineering. Zu diesem Zweck vereinen wir unsere drei zentralen Forschungsfelder in einer ge- meinsamen Strategie zu Safe Intelligence: Im Bereich Trustworthy AI entstehen robuste und erklärbare Ansätze des Maschinellen Lernens, die eine essenzielle Grundlage für Safe Intelligence darstellen. Einen echten Nutzen bieten solche Verfahren allerdings nur dann, wenn sie sich nahtlos in den Sicherheitsnachweis auf Systemebene einfü- gen, weshalb die Arbeiten eng mit dem Forschungsfeld Safety Assurance verzahnt sind. Safe Intelligence ist für uns aber viel mehr als nur Sicherheit: Es ist unser Ziel, trotz all der inhärenten Unwägbarkeiten Kognitiver Systeme, zu jeder Zeit die maximal mög- liche Funktionalität erzielen und gleichzeitig Sicherheit gewährleisten zu können. Die »Schlüsselzutat«, um dieses Ziel zu erreichen, heißt Resilienz und formt den Forschungs- kern des Bereichs Resilient Software Systems Engineering, der alle Bausteine in einem ganzheitlichen Engineering verbindet. Daran arbeiten wir mit einem schnell wachsenden Team, mit vielen etablierten, renommierten Expertinnen und Experten, die wir für das Institut gewinnen konnten, und mit Ihnen, unseren Partnern. Denn nie war die enge Zusammenarbeit zwischen Wirtschaft und Forschung wichtiger als heute, um in einem so schnelllebigen Wett- bewerb bestehen zu können. Dazu übersetzen wir exzellente Forschung in erfolgreiche Innovatio nen, um unseren Partnern stets den nötigen Vorsprung im Wettlauf der Digi- talisierung zu ermöglichen. Im Jahr 2022 werden wir uns noch enger mit der TU München verzahnen, den Grund- stein für unser neues Gebäude legen und unsere erfolgreiche Entwicklung mit vielen spannenden Projekten fortschreiben. Die Weichen für unsere Zukunft sind gestellt und wir freuen uns, gemeinsam mit Ihnen als unsere Partner diesen Weg beschreiten zu dürfen. Herzliche Grüße Mario Trapp institutsleiter des fraunhofer iks

5 06 Events 07 »Wir wollen unsere Maschinen zunehmend intelligenter machen.« Dr. Michael Gallmeier, Leiter Entwicklung bei Holmer Maschinenbau, im Interview. 10 Software-Updates werden flexibler ResilientSOA, das Framework des Fraunhofer IKS, verkürzt Wartungszeiten und senkt Kosten. 12 Dateneffizientes Lernen: Aus wenig Daten viel machen Wie das Training Neuronaler Netze mit unzureichenden Daten trotzdem belastbare Ergebnisse bringt. 15 Leicht zugängliches und robustes Quantencomputing Das Fraunhofer IKS arbeitet am robusten und zuverlässigen Einsatz von Quantencomputing-gestützten Lösungen. 18 Gesund mit Safe Intelligence Künstliche Intelligenz hilft, medizinisches Personal zu entlasten und die Behandlung für Patienten zu verbessern. 20 Purpose — Vision — Mission Die Strategie des Fraunhofer IKS 22 Standard gegen Safety-Albträume Mithilfe eines neuen ISO-Standards soll der Einsatz von Künstlicher Intelligenz verlässlicher werden. 24 Köpfe aus der Forschung Die Forscherinnen und Forscher des Fraunhofer IKS kommen auf sehr unterschiedlichen Wegen ans Institut. 28 Neubau für Innovation und Kooperation Ende 2024 bezieht das Fraunhofer IKS sein neues Institutsgebäude auf dem Campus Garching bei München. 26 Kurz notiert Impressum 30

7 »Wir wollen unsere Maschinen zunehmend intelligenter machen.« Mittelständische Unternehmen sind beim Einsatz Künstlicher Intelligenz aufgrund hoher Anfangsinvestitionen oft zurückhaltend, dabei bringen sie gute Voraussetzungen mit. Welche Vorteile KI auch kleinen und mittleren Firmen bietet, erläutert Dr. Michael Gallmeier, Entwicklungsleiter beim Landmaschinen-Hersteller Holmer Maschinenbau, im Interview. Warum sollten sich Unternehmen im Allgemeinen und speziell der Mittelstand mit Künstlicher Intelligenz (KI) befassen? Dr. Gallmeier: KI ist eine Technologie, die es ermöglicht, die Al- leinstellungsmerkmale herauszuarbeiten und damit die Wettbe- werbsposition zu sichern. Deshalb tun wir gut daran, egal ob Mit- telstand oder größere Unternehmen, uns damit zu beschäftigen. Können Sie erläutern, was das speziell im Hinblick auf kleine und mittlere Unternehmen bedeutet? Der Mittelstand ist häufig geprägt von einem Nischenwissen, das heißt von einem branchenbezogenen, stark firmenspezifischen Wissen. Und wir haben bei Holmer die Erfahrung gemacht, dass KI in der Lage ist, dieses firmenspezifische Wissen zu verfeinern und auch zu nutzen, um ganz spezielle Lösungen anbieten zu können. Ich bin verantwortlich für die Produktentwicklung von mobi- len Arbeitsmaschinen. Hier geht es um die Entwicklung von at- traktiven und für den Markt interessanten Features. Wichtige Stichworte in diesem Zusammenhang sind Automatisierung und Autonomisierung. Mit anderen Worten: Wir wollen die Maschi- nen zunehmend intelligenter machen. Das heißt Prozesse stabi- lisieren und optimieren sowie unter allen Umständen Einstel- lungsfehler der mobilen Arbeitsmaschinen vermeiden. Dahinter stehen durchaus aufwendige verfahrenstechnische Abläufe, die von den unterschiedlichsten Parametern beeinflusst werden. Hier kann KI einfach helfen, ein für die jeweilige Situation passendes Gesamtoptimum zu erreichen. Natürlich spielt KI auch in anderen Bereichen eine Rolle für die Unternehmensprozesse. Ich möchte hier die Produktion nennen, den Vertrieb, aber auch das Marketing.

9 hierarchie gehen. Zum anderen, und das sorgt dann für schnellere Umsetzung, ist in KMU das Systemwissen bei Weitem nicht so weit verteilt wie in den großen Konzer- nen. Das heißt: Einzelne haben ein sehr breites, systemisches Wissen. Ich habe also wenige kompetente Ansprechpartner, um Systembetrachtungen durchzuführen. Das Gleiche gilt für Daten. Daten sind nicht in den verschiedenen Abteilungen verteilt, sondern in der Verantwortung von weni- gen und dadurch schneller verfügbar. Welche Rolle sollte denn der Staat dabei spielen, vor allem kleine und mittlere Unternehmen beim Einstieg in KI zu unterstützen? Als Erstes sehe ich die Rolle des Staates im Bereich Bildung und Ausbildung. Es gilt, dort die Grundlagen zu schaffen für eine Offenheit der Absolventen gegenüber KI, die Berührungsängste zu nehmen. Eine zweite Aufgabe besteht darin, für Mittel- ständler die Einstiegshürden niedrig und die Attraktivität hoch zu halten. Eine ge- eignete Möglichkeit dazu, aus meiner Er- fahrung heraus, ist es eben, dass man Netzwerke schafft, Plattformen, um die Nischen miteinander zu vernetzen und ei- nen Erfahrungsaustausch zu ermöglichen. Die Realität ist, dass viele Nischen nicht miteinander im Wettbewerb stehen, das heißt, man kann durchaus sehr frei mit- einander diskutieren und sich gegenseitig befruchten. Welche Empfehlungen haben Sie denn für KMU, die KI-Systeme einführen wollen? Eine breite Datenbasis ist ganz entschei- dend. Wenn diese über eine längere Zeit gefüllt wird, lassen sich Varianten, Einsatz- weisen muss man miteinander verknüp- fen können – was nicht immer einfach ist. Ein ganz anderes, technisches Problem – das hat sich jedenfalls bei uns herausge- stellt – ist die Verfügbarkeit repräsentati- ver und vielleicht auch historischer Daten, um einfach eine belastbare Datengrundla- ge zu haben. Das ist immer ein kritischer Punkt, um hier einen sinnvollen Einstieg in KI zu schaffen. Apropos Einstieg: Was gehört für einen guten Einstieg in KI noch dazu? Bei Holmer sind wir nicht mit einem gro- ßen Projekt eingestiegen, sondern über kleinere studentische Projekte. Offen ge- standen mit der Motivation, das frische Studienwissen erst einmal ganz unproble- matisch ans Unternehmen und an die Mit- arbeitenden heranzuführen. Dabei sind immer Ergebnisse entstanden, die Interes- se geweckt haben, auch bei den erfahrenen Mitarbeitern, die das dann auch weiterver- folgen wollten. So haben wir uns Schritt für Schritt eingearbeitet: pragmatisch, un- verkrampft und in kleinerem Rahmen, um erste Erfahrungen mit KI zu sammeln. Bringt der Mittelstand gute Vorausset- zungen für die Einführung von KI mit? Ich denke schon. Zum einen sind die Ent- scheidungswege kurz. Die Notwendigkeit, jemanden zu überzeugen, beschränkt sich auf ein oder zwei Personen, man muss nicht durch die gesamte Unternehmens- Intelligente Landmaschinen machen den Ernteprozess deutlich effizienter. bedingungen sowie, wenn nötig, verschie- dene Fahrzeug- oder Maschinenmodelle abdecken. Erst diese breite Datenbasis schafft die Voraussetzung für eine Robust- heit in den Ergebnissen durch KI. Dazu gehört auch eine saubere Dokumentation zu diesen Daten, einschließlich der Meta- daten über den kompletten Datenverar- beitungsprozess hinweg. Alles, um Fehl- interpretationen zu vermeiden. Und, hier schließt sich der Kreis, es wird auch un- ternehmensspezifisches Wissen benötigt, denn ohne das wird es sehr schnell zu Fehl- interpretationen kommen. H. T. Hengl www.iks.fraunhofer.de/de/themen/smart-farming.html

ResilientSOA zielt darauf ab, neue, aber auch bestehende Systeme anpassungsfähig, flexibel und dabei sicher zu machen. 11 ab, neue, aber auch bestehende Systeme anpassungsfähig, flexibel und dabei sicher zu machen. Daher ist das Einbinden des Frame- works in bestehende Systeme, zum Beispiel in eine Umgebung auf Basis des Roboter-Betriebssystems ROS 2, problemlos möglich. Eingebettete Systeme brauchen mehr Flexibilität Mit resilientSOA überträgt das Fraunhofer IKS den Gedanken von serviceorientierten Architekturen (SOA) auf eingebette- te Systeme (embedded systems) oder auch Cyber-Physical Sys- tems (CPS). Das Konzept der Services ist schon seit Längerem bei Web- oder Smartphone-Anwendungen verbreitet. Bei eingebet- teten Systemen jedoch haben Services bislang keine große Rolle gespielt. Aber das hat sich in den vergangenen Jahren grundle- gend geändert: »Embedded Systems sind beispielsweise aus dem autonomen Fahren, der Produktion und der Robotik nicht mehr wegzudenken«, so Wörter. »Allerdings fordert der Markt, dass ein- gebettete Systeme immer flexibler werden.« Diese Flexibilität bringt eindeutige Vorteile: Dem Hersteller ein- gebetteter Systeme wird viel Arbeit abgenommen und das Wie- derverwenden von Diensten wird gefördert. Zusätzlich ergeben sich durch die einfache Integration von Diensten von Drittanbie- tern ganz neue Geschäftsmodelle. Zum Beispiel in der Wartung. So könnte, etwa wenn der Reifendruck sinkt und das System dies erfasst, dem Fahrzeug als Dienst Dritter angezeigt werden, wo in der Nähe eine Werkstatt liegt, in der der Reifen ausgetauscht wer- den kann, wenn nötig. Machen Sie sich selbst ein Bild, wie resilientSOA funktioniert, und zwar in unserem Video: https://s.fhg.de/video-resilientSOA Darüber hinaus haben die Forscherinnen und Forscher des Fraunhofer IKS den Beweis erbracht, dass sich das SOA-Konzept auch auf sicherheitskritische eingebettete Systeme übertragen lässt – und das ohne jegliche Einschränkung der Sicherheitsan- forderungen. »Das Beispiel der AMR im Warenlager zeigt, dass sich mit resilientSOA das System des AMR flexibel aktualisieren lässt und auch danach Unfälle zuverlässig vermieden werden. Mit anderen Worten: Menschen können sich im Warenlager weiter- hin sicher bewegen«, hebt Florian Wörter hervor. Das Fraunhofer IKS nutzt resilientSOA im Rahmen der For- schung als wissenschaftliche Plattform, um Algorithmen zur Laufzeit zu testen. Das Framework ist aber auch die technische Grundlage dafür, Unternehmen im Rahmen von Projekten dabei zu unterstützen, ihre eingebetteten Systeme entsprechend ihren jeweiligen Anforderungen flexibler zu machen. Florian Wörter Dieses Vorhaben wurde im Rahmen des Projekts Unterstützung des thematischen Aufbaus des Instituts für Kognitive Systeme durch das Bayerische Staatsministerium für Wirtschaft, Landesentwicklung und Energie gefördert. www.iks.fraunhofer.de/de/forschung/resilient-soa.html

13 Bei der Entwicklung von Modellen Künstlicher Intelligenz (KI) für die Prozessautomatisierung greifen Entwickler gern auf frei ver- fügbare Trainingsdatensätze wie CIFAR 10 zurück. Diese werden bevorzugt für das Training einer Bilderkennung in der Entwick- lung Neuronaler Netze genutzt. Der Vorteil solcher Trainings- datensätze: Sie sind nicht nur frei verfügbar, sondern enthalten auch eine ausreichend große Anzahl an Daten, die zudem klar ge- kennzeichnet und ausbalanciert sind. Die »Datenrealität«, mit der Neuronale Netze außerhalb der Entwicklungslabore arbeiten müssen, sieht jedoch anders aus. Je nach Anwendungsfall liegen oft nur wenige, annotierte oder un- balancierte Daten vor, weil deren Erhebung zeitaufwendig und kostenintensiv ist. Erschwerend kommt hinzu, dass die Frage- stellungen von Unternehmen, die Neuronale Netze in ihren Pro- dukten und Lösungen einsetzen wollen, sehr spezifisch sind. Ein Produzent eines Arzneimittels hat beispielsweise ganz andere Anforderungen an eine KI-basierte Qualitätsprüfung als der Her- steller von elektronischen Steuergeräten. Allgemeine KI-Modelle, die auf umfangreichen Testdaten trainiert wurden und dann mit deutlich schlechteren Daten oder sehr spezifischen Bedingungen in der Realität konfrontiert werden, stoßen daher schnell an ihre Grenzen und liefern wenig solide Ergebnisse. Wie hoch die akzep- tierte Fehlerquote beziehungsweise das akzeptierte Restrisiko für den jeweiligen Anwendungsfall ist, muss jedes Unternehmen für sich individuell abwägen. Um die Fehleranfälligkeit einer KI zu bestimmen und zu ver- ringern, befasst sich das Fraunhofer-Institut für Kognitive Syste- me IKS mit verlässlichem dateneffizientem Lernen. Im Rahmen dieser Arbeit untersucht das Institut bestehende Neuronale Net- ze; es entwickelt je nach Bedarf jedoch auch neue und kunden- spezifische KI-Modelle zur Automatisierung von industriellen Prozessen, beispielsweise in der Qualitätsprüfung oder der früh- zeitigen Erkennung von Störungen. Stolpersteine beim Training Neuronaler Netze Dateneffizientes Lernen hilft Unternehmen dabei, drei zentrale Problemstellungen zu lösen, die in Zusammenhang mit Training und Einsatz Neuronaler Netze auftreten können. 1 2 3 Problemstellung eins Es sind viele Trainingsdaten vorhanden, anhand derer KI lernen könnte, allerdings sind diese nicht annotiert. Ein Beispiel hierfür sind automatisch erzeugte Bild- aufnahmen von gefertigten Produkten, die keine Kennzeichnung aufweisen, welches Bild ein funk- tionstüchtiges oder aber ein defektes Produkt zeigt. Problemstellung zwei Es liegen unbalancierte Trainingsdaten vor, wodurch das Training der KI eingeschränkt ist. Ein Beispiel hierfür ist, wenn KI darauf trainiert werden soll, in medizinischen Bildgebungsverfahren Anomalien zu erkennen. Bei seltenen Krankheiten liegen hier häufig Daten von vielen gesunden Patienten vor, aber nur sehr wenige von Kranken. Problemstellung drei Es liegen kaum oder keine Trainingsdaten vor, da diese nur mit großem Aufwand erhoben werden können. Ein Beispiel hierfür können Produkte sein, die nur in sehr geringen Stückzahlen hergestellt werden oder bei denen der Fertigungsprozess sehr komplex ist, beispielsweise medizinische Prothesen. WARUM TESTDATEN KEINE TRAININGSDATEN SEIN SOLLTEN Wenn nur wenige oder qualitativ mangelhafte Daten vorliegen, ist es schwer, die Verlässlichkeit eines Neuronalen Netzes zu prüfen. Denn neben einem Trainingsdatensatz wird hierfür ein gesonderter Testdatensatz benötigt. Die Testdaten werden nicht für das Training der KI genutzt, sondern ausschließlich zur anschließenden Qualitätsprüfung. Nur wenn Trainings- und Testdatensätze nicht identisch sind, erhält man valide Aussagen zur Qualität und Verlässlichkeit des getesteten KI-Modells.

15 Leicht zugängliches und robustes Quantencomputing Derzeit verfügbare Quantencomputer sind noch nicht leistungsstark genug, um industriell relevante Probleme im großen Stil lösen zu können. Aufgrund einer rasch voranschreitenden Hardware- und Software- Entwicklung wird jedoch vorhergesagt, dass Quantencomputing zu disruptiven Veränderungen in vielen Anwendungsfeldern innerhalb der nächsten zehn Jahre führen kann, etwa in den Bereichen Optimierungsprobleme und Künstliche Intelligenz. Das Fraunhofer IKS arbeitet am robusten und zuverlässigen Einsatz von Quantencomputing-gestützten Lösungen und ermöglicht den leichten Zugang zu den Vorzügen des Quantencomputings, auch für mittelständische Unternehmen.

17 Lesen Sie mehr über das Munich Quantum Valley auf unserem Blog: tierende Geräte noch nicht über eine ausreichend große Anzahl an Qubits, die außerdem noch zu fehleranfällig sind. Dies bedeutet insbesondere, dass aktuelle Qubits wegen ihrer quantenmecha- nischen Eigenschaften sowie aufgrund von Störeinflüssen einen bestimmten Wert nur eine recht beschränkte Zeitdauer halten können. Diese »Noisy Intermediate Scale Quantum (NISQ)«-Gerä- te sind daher nur zur Lösung von kleineren Problemen geeignet. Die Entwicklung von verbesserten Quantencomputern mit mehr Qubits und einer besseren Fehlerkorrektur schreitet aber schnell voran, auch dank zahlreicher milliardenschwerer öffentlicher Förderprogramme. Dadurch wird erwartet, dass bereits innerhalb von wenigen Jahren Geräte verfügbar werden, die dann zuneh- mend größere und somit für Anwendungsfälle in Unternehmen interessantere Probleme berechnen können. Neben der Hardware-Entwicklung sind umfangreiche Inno- vationen auf der Software-Seite erforderlich. Hierbei besteht das hauptsächliche Problem für den Anwender, dass jegliche Soft- ware-Entwicklung auf Quantencomputern noch sehr hardware- nah erfolgen muss und bislang nur wenige umfassende Lösungen über den gesamten Software-Stack hinweg existieren. Dadurch kann der industrielle Endanwender noch nicht in seiner gewohn- ten Programmierumgebung einfach und ohne weiteres Vorwis- sen die Vorzüge des Quantencomputings direkt ausnutzen. Das Fraunhofer-Institut für Kognitive Systeme IKS entwickelt daher zusammen mit Partnern aus Forschung und Industrie im Kontext des Munich Quantum Valley (MQV) Elemente des gesamten Software-Stacks, um dem akademischen und indus- triellen Endanwender Quantencomputing-gestützte Lösungen leicht zugänglich zu machen und damit robuste Ergebnisse zu erzielen – und das unter einem effizienten Einsatz der Hardware. Der Endanwender sollte hierfür kein tiefergehendes Vorwissen der zugrunde liegenden Physik oder der hardwarenahen Soft- ware-Entwicklung benötigen. Somit können auch insbesondere kleinere und mittelständische Unternehmen – auch ohne gro- ße Entwicklungsabteilungen – frühzeitig von den Vorzügen des Quantencomputings profitieren. Wofür kann Quantencomputing jetzt schon eingesetzt werden? Bei den zurzeit verfügbaren kleineren NISQ-Geräten kommen vor allem Hybrid-Algorithmen zum Einsatz, die eine Iteration zwi- schen Quantencomputern und klassischen Computern beinhal- ten. Somit wird letztlich genau der Teil des Algorithmus auf dem Quantencomputer gerechnet, der auch tatsächlich von der er- höhten Rechenkapazität profitiert. Dabei ist wichtig zu bedenken, dass aktuelle NISQ-Geräte aufgrund noch nicht komplett stabiler Qubits keine »Big-Data«-Maschinen sind. Vielmehr profitieren Probleme mit kleineren Input-Datenmengen und einer hohen Rechenkomplexität vom Einsatz eines Quantencomputers. Die derzeit für einen Quantencomputer interessanten Probleme umfassen Simulationsaufgaben, Optimierungsprobleme und Maschinelles Lernen. Besonders Simulationsaufgaben können von klassischen Computern häufig nur in unzureichender Ge- nauigkeit gerechnet werden, ziehen aber nicht selten Nutzen aus quantenmechanischen Eigenschaften eines Quantencomputers. Zu dieser Problemklasse zählen beispielsweise die Simulation kleinerer Moleküle, wie in der Pharmaindustrie zur Entwicklung neuartiger Medikamente. Oder die Simulation neuer Materialien in der Chemie zur Schaffung von neuartigen Batterien, zum Bei- spiel für die E-Mobilität. Optimierungsprobleme treten in zahlreichen industriellen Fra- gestellungen auf, etwa in der Logistik, Produktion oder Mobilität. Beispielsweise könnte durch Quantencomputing die Fertigung von Produkten mit vielen einzelnen Komponenten (wie Fahr- zeuge) optimiert werden, nämlich dort, wo diese Komponenten in der richtigen Reihenfolge und mit hohen Standards eingebaut werden müssen. Auch Verkehrsoptimierung und die Verteilung von Ladestationen für E-Automobile fallen in diesen Bereich. Im Maschinellen Lernen ist die Verwendung eines Quanten- computers für viele gewohnte Algorithmen denkbar. Besonders interessant sind hierbei Quantum Convolutional Neural Networks (QCNN), welche gut in der Bilderkennung eingesetzt werden kön- nen. Hierbei ist die Idee, dass eine oder mehrere der klassischen Convolutional Layers durch einen Quantum Layer ersetzt wer- den. In Simulationen wurde gezeigt, dass solche Architekturen zu einer schnelleren Trainingskonvergenz auch bei wenig vorhan- denen Trainingsdaten führen können. Daher ist dies ein vielver- sprechender Ansatz für Situationen, in denen nur wenige Daten vorliegen, aber dennoch ein zuverlässiges Trainingsergebnis er- reicht werden muss, wie zum Beispiel in der medizinischen Bild- erkennung. Daher arbeitet das Fraunhofer IKS an der Erforschung des Einsatzes von QCNN für die Früherkennung von Tumoren. Trotz noch kleiner und fehleranfälliger NISQ-Geräte lohnt es sich also, den Einsatz von Quantencomputern im Rahmen von Hybrid-Algorithmen zu erproben, da sowohl Hardware- als auch Software-Entwicklung schnell voranschreiten. Initiativen wie etwa das MQV mit Beteiligung des Fraunhofer IKS werden dafür sorgen, dass die bald zu erwartenden Vorzüge des Quantencom- putings auch von kleineren Unternehmen in leicht zugänglicher und robuster Art und Weise vollständig genutzt werden können. Priv.-Doz. Dr. habil. Jeanette Lorenz www.iks.fraunhofer.de/de/themen/quantencomputing.html

19 Künstliche Intelligenz bietet die Möglichkeit, einige der dringendsten Herausforderungen im Gesundheitswesen zu lösen. Sie verbessert damit die Qualität der Versorgung und die Dienst- leistungen für Patienten, Ärzte und Hersteller. Mit dem Ansatz Safe Intelligence trägt das Fraunhofer IKS dazu bei, die Medizintechnik auf die nächste Stufe zu heben. Hätte der Arzt in unserem Beispiel 200 Jahre Erfahrung und eine außergewöhnliche Gehirnleistung, könnte sie eine riesige Menge an Informationen sammeln, sich diese merken und sofort zusam- menfassen. Das ist nur ein Traum, oder? Das Fraunhofer-Institut für Kognitive Systeme IKS hilft Klinikern, sich solche riesige Mengen an klinischem Wissen zu merken und zusammenzufassen. Dies erfolgt mithilfe komplexer mathema- tischer Algorithmen, die sich Künstliche Intelligenz (KI) nennen. Diese KI-gesteuerten klinischen Assistenten können auf riesige Bibliotheken von Patientendaten mit Millionen von Patienten- akten zugreifen, diese verarbeiten und die Entwicklungsmuster verschiedener Krankheiten und Behandlungsreaktionen ableiten. Bei jedem neuen Patienten können der Arzt oder die Ärztin den KI-Assistenten um eine zweite Meinung über die Diagnose und die geeignete Behandlung bitten. Dieser KI-Assistent kann mit dem Arzt ein gezieltes Gespräch über Was-wäre-wenn führen: Was wäre, wenn wir die Medikation der Patientin ändern? Was ist, wenn wir eine Operation durchführen? In ähnlicher Weise kann der KI-Assistent lernen, den Status kritischer medizinischer Geräte wie Dialyse-, Chemotherapie- oder Organunterstützungsgeräte zu diagnostizieren. Eine Ma- schinenstörung mitten in der Behandlung einer Patientin hat schwerwiegende Folgen für Patienten, Ärzte und Gerätehersteller. Hier kann die KI ihre Erinnerungs- und Zusammenfassungs-Fä- higkeit nutzen, um das Verhalten des Geräts im Laufe der Zeit zu beobachten, zukünftige Ereignisse vorherzusagen und dabei zu helfen, das Gerät für alle Patienten optimal einzustellen. Wie die Anwendungsfälle zeigen, könnte KI bei vielen Heraus- forderungen helfen, mit denen medizinisches Personal, aber auch Unternehmen in der Medizintechnik- und Pharmaindustrie kon- frontiert sind. Die schwierige Aufgabe besteht darin, Lösungen zu ermöglichen, die leistungsfähig, aber auch sicher und zuverlässig sind. Dafür steht der Ansatz des Fraunhofer IKS: Safe Intelligence. Dr. Narges Ahmidi aller Patientinnen und Patienten nutzen, die etwa eine bestimmte Untersuchung hinter sich haben, und analy- sieren, welche Faktoren dafür sprechen, dass ein Patient tatsächlich eine solche Krankheit entwickelt. Dies würde dem Arzt oder der Ärztin helfen, Marker zu erkennen, bevor Symptome auftreten, und dem Patienten zu einer frühzeitigen Behandlung verhelfen. Zweitens könnte KI Ärzte dabei unterstützen, seltene Krankheiten zu diagnostizieren. Behandlung Sobald die Diagnose gestellt ist, müssen die Ärzte über die Behandlung entscheiden und beobachten, wie Patientinnen und Patienten auf die gewählte Behand- lung reagieren. Sowohl bei der Entscheidung über die Behandlung als auch bei der Beobachtung und, wenn nötig, Anpassung kann KI helfen. Zum Beispiel durch die Bereitstellung von Informationen darüber, welches Medikament für die jeweilige Patientin aufgrund ihrer Veranlagung besser wirken könnte. Aber auch durch detailliertere Informationen über die Nebenwirkungen verschiedener Medikamente bei Patientinnen und Patienten mit gleicher oder ähnlicher Veranlagung. Produktion/Wartung Fehlfunktionen und Ausfallzeiten medizinischer Geräte müssen unbedingt vermieden werden. KI könnte den Herstellern solcher medizinischen Geräte dabei helfen, intelligentere medizinische Geräte anzubieten, indem KI in die Softwarefunktionen des Systems integriert wird. Oder aber indem eine vorausschauende Wartung ermöglicht wird, die erkennt, wann Teile des Geräts er- setzt werden müssen, anstatt zu warten, bis diese Teile tatsächlich kaputt gehen. www.iks.fraunhofer.de/de/themen/kuenstliche-intelligenz/kuenstliche-intelligenz-medizin.html

21 O U R M I S S I O N “Research transfer that makes a difference: We translate safe intelligence research into meaningful innovations that enable the international economy to grow through world-leading products and services that make our lives safer, healthier, more comfortable and more sustainable. In doing so, we provide economically attractive solutions to allow industry to fulfill regulations enacted by government on behalf of society.”

23 »Wir wollen den Einsatz der Systeme so sicher und verlässlich wie möglich machen.« Prof. Dr. Simon Burton Wann immer über Methoden der Künstlichen Intelligenz (KI) gesprochen wird, dauert es nicht lange, bis die Diskussion beim Thema Auto ankommt. Der Einsatz im Fahrzeug ist ein besonders prägnantes Beispiel für die Möglichkeiten der KI. Und besonders eindrucksvoll wird dieses beim autonomen Fahren, wenn Soft- ware den Job eines menschlichen Fahrers übernehmen soll. Allerdings sind hier auch die Sicherheitsanforderungen beson- ders hoch, die an KI gestellt werden. Arbeiten die KI-Systeme im Fahrzeug nicht zuverlässig, kann das fatale Auswirkungen haben. Im schlimmsten Fall werden Menschenleben gefährdet. Für die Entwicklung von KI-Systemen, die im Fahrzeug einge- setzt werden, braucht es daher klare, einheitliche Vorgaben. Stan- dards für die Software im Auto gibt es zwar bereits. So existiert mit der ISO 26262 eine Norm für die funktionale Sicherheit. Und die ISO 21448 beschäftigt sich mit der sogenannten Safety of In- tended Functionality – also der Frage, ob ein System für eine be- stimmte Situation ausreichend ausgelegt ist. Doch ein Standard, der explizit den Einsatz von KI im Kontext Sicherheit in den Fo- kus nimmt, gibt es bisher nicht. »Diese Lücke wollen wir schließen«, sagt Prof. Dr. Simon Burton, Research Division Director Safety am Fraunhofer-Institut für Ko- gnitive Systeme IKS. Unter seiner Führung hat eine internationa- le Arbeitsgruppe damit begonnen, einen Standard zu entwickeln, der sich mit KI aus Safety-Perspektive beschäftigt. Die Norm ISO/ PAS 8800 soll ein einheitliches Vorgehen bei der Entwicklung und Prüfung von KI-Systemen etablieren, die im Fahrzeug eingesetzt werden. Das betrifft nicht nur Funktionen für das autonome Fah- ren. Auch wenn KI an anderer Stelle genutzt wird – zum Beispiel für die oberflächenabhängige Fahrwerksabstimmung –, soll der neue Standard greifen, sofern Sicherheitsaspekte betroffen sind. Standard setzt auf Methodenvielfalt Wenn es um die eingesetzten KI-Methoden geht, verfolgt der ISO/ PAS 8800 ebenfalls einen breiten Ansatz. »Wir werden uns nicht nur mit den derzeit sehr stark diskutierten Neuronalen Netzen beschäftigen«, so Burton. »Es gibt daneben auch KI-Ansätze, die nachvollziehbarer und für Safety-Funktionen besser geeignet sind. Auch diese Methoden soll der neue Standard abdecken.« ISO/PAS 8800 wird dann eine Richtschnur für die Entwicklung von KI-Software vorgeben, indem er sich zunächst mit grundle- genden Fragen beschäftigt wie etwa: »Wie und mit welcher Genau- igkeit muss eine KI-Funktion funktionieren, damit kein Unfall ge- schieht?« Von dieser Systemebene geht es dann zu Maßnahmen in der Funktionsentwicklung. Hier stehen Fragen im Mittelpunkt wie: »Wie muss die KI-Funktion aufgebaut sein?« oder: »Was sind die richtigen Trainingsdaten?« Anschließend geht es dann darum, mit den Fehlern umzugehen, die noch verbleiben. Denn ein Knackpunkt bei KI ist, dass eine entsprechende Funktion nie perfekt sein wird. Im Gegensatz zu klassischer Software wird ein KI-System schließlich nicht programmiert, sondern anhand von Daten trainiert. Für Safety-Ingenieure ist das quasi ein Albtraum. »Es wird immer gewisse Restfehler geben. Aber in dem neu- en Standard werden wir Maßnahmen definieren, um diese zu kompensieren und die KI-Funktion zu überwachen«, sagt Burton. Neben dem Entwicklungsprozess sollen dann noch Maßnahmen festgelegt werden, um die entsprechende Software zu überprüfen. Somit wäre dann die Basis für die Nutzung von KI im Fahrzeug gelegt, die in Zukunft sicherlich noch weiter zunehmen wird. »Es gibt bestimmte Funktionen, die sich nur mithilfe von KI umset- zen lassen – etwa das Erkennen von Fußgängern beim autono- men Fahren. Und wir wollen den Einsatz der Systeme so sicher und verlässlich wie möglich machen«, betont Burton. Für das Fraunhofer IKS stellt ISO/PAS 8800 ein besonderes Pro- jekt dar, da hier mit Burton erstmals ein Vertreter des Instituts federführend tätig ist. Daneben ist das Fraunhofer IKS an vielen weiteren Standards in diesem Bereich beteiligt – zum Beispiel im KI-Absicherungsprojekt innerhalb der VDI-Leitinitiative autono- mes und vernetztes Fahren. Die Laufzeit des ISO/PAS-Projekts beträgt zwei Jahre. Ziel ist es, in dieser Zeit einen beschlussfähigen Entwurf zu erstellen. Dabei wird es auch darum gehen, sich mit anderen Standards und Gre- mien, die sich mit ähnlichen Themen beschäftigen, zu synchro- nisieren. Endergebnis ist dann eine Norm, die hoffentlich dafür sorgt, dass Sicherheitsingenieure in Zukunft ruhig schlafen kön- nen – ohne Albträume. Markus Strehlitz https://www.iks.fraunhofer.de/de/institut/direktorium/simon-burton.html

ANDREAS KREUTZ TOM HAIDER MARTA GROBELNA 25 Sein Entdeckerdrang treibt ihn an: Andreas Kreutz wollte schon als Kind Erfinder werden. Nun forscht er seit Sommer 2020 als wissenschaftlicher Mitarbeiter am Fraunhofer IKS zu cyberphysischen Systemen und plant seine Promotion. Er hat an der TU München Informatik studiert und ist immer auf der Suche nach neuen Herausforderungen, im beruflichen wie sportlichen Bereich. KARSTEN ROSCHER Als wissenschaftlicher Mitarbeiter am Fraunhofer IKS konzentriert sich Tom Haider nach dem Studium der Mechatro- nik und Informatik in Regensburg und Kopenhagen auf das Thema Reinforce- ment Learning. Ihm ist es wichtig, mit seiner Arbeit Ergebnisse antastbar und anwendbar zu machen, sodass sie einen wirklichen Mehrwert liefern – – zum Beispiel Robotern beizubringen, eigenständig zu agieren und neue Aufgaben zu lernen, ohne dabei sich oder den Menschen in ihrer Umgebung zu schaden. JOÃO-VITOR ZACCHI Marta Grobelna schätzt besonders den Praxisbezug ihrer Forschungsarbeit im Bereich Safety Engineering. Nach ihrem Studium der Informatik an der RWTH Aachen forscht sie nun als wissenschaft- liche Mitarbeiterin am Fraunhofer IKS und wird zum Thema Unterstützung von Dynamic Risk Management mithilfe mathematischer Modelle promovieren – ebenfalls wieder eine Kombination aus Theorie und Praxis. JEANETTE LORENZ Eigentlich hatte der leidenschaftliche Musiker sein Doppelstudium Informatik und Elektrotechnik absolviert, um im Medienbereich zu arbeiten. Während des Studiums stieß er aber auf das Thema Datenvernetzung und fing Feuer. So startete er 2010 als wissenschaftlicher Mitarbeiter am Fraunhofer ESK und ist mittlerweile Abteilungsleiter beim daraus hervorgegangenen Fraunhofer IKS. Dem Ingenieur gefällt besonders die Kombi- nation aus wirtschaftlicher Relevanz bei gleichzeitiger gesellschaftlicher Bedeu- tung seiner Forschungsarbeit. Und die Musik? Spielt immer noch eine große Rolle im Leben des zweifachen Vaters ! → Seite 12 João-Vitor Zacchi war anfänglich als Marie Skłodowska- Curie-Action-Fellow am Fraunhofer IKS und arbeitet jetzt als wissenschaftlicher Mitarbeiter in der Abteilung Cognitive Software Systems Engineering. Geboren in Brasilien, studierte er Elektro- und Automatisierungs - technik in Brasilien und Frankreich. Bei all seinen interkontinentalen Umzügen begleiten ihn seine geliebten Bücher – von Science-Fiction über Philosophie- und Geschichtsbücher bis zu Sonderausgaben klassischer Werke. Priv.-Doz. Dr. habil Jeanette Lorenz baut am Fraunhofer IKS die Quantencom- puting-Aktivitäten auf. Sie hat Physik und Mathematik in Erlangen und München studiert und anschließend viele Jahre im Bereich der experimentellen Teilchen- physik und statistischen Datenanalyse am CERN in Genf und an der LMU München geforscht. Nun freut sie sich als Senior Scientist am Fraunhofer IKS, einen direk- ten Impact ihrer Arbeit sehen zu können. Ihr Motto ? »Einfach machen !« Das gilt ebenso für den privaten Kontext: Sie geht als begeisterte Bergsteigerin gern an- spruchsvolle Mehrtagestouren. → Seite 15 https://safe-intelligence.fraunhofer.de/mitarbeitenden-portraets

27 SICHERE UND EFFIZIENTE ROBOTER IN DER LOGISTIK Gemeinsames Projekt mit Hitachi In der Logistik arbeiten Menschen und Roboter oft eng zusammen. Wirklich effizient ist diese Kollabo- ration jedoch erst, wenn beide zur gleichen Zeit im gleichen Bereich arbeiten können. Dabei muss die Sicherheit der Menschen jederzeit gewährleistet sein. Gemeinsam mit Hitachi haben Forscherinnen und Forscher des Fraunhofer IKS einen Simulationsrah- men für die Bewegungen von fahrerlosen Transport- systemen in Lagern auf der Grundlage von Webots erstellt. Damit konnte untersucht werden, ob Infra- struktursensoren, die das Verhalten der Roboter dyna- misch anpassen, die Situation im Lager verbessern. Mehr über das gemeinsame Projekt und die Forschungsergebnisse lesen Sie auf unserem Blog. https://safe-intelligence.fraunhofer.de/artikel/ how-robots-in-warehouses-operate-safely-and- efficiently BESUCH DES STELLVERTRETENDEN TSCHECHISCHEN HANDELSMINISTERS Austausch zu potenziellen Forschungskollaborationen Das Fraunhofer IKS durfte Dr. Petr Očko (links), stellvertretender Minister für Industrie und Handel der Tschechischen Republik, sowie Kristina Larischova (rechts), Generalkonsulin der Tschechischen Republik in München, begrüßen. Prof. Dr. Simon Burton, Division Director Safety, stellte die Forschungsaktivitäten des Instituts zu verlässlichen, autono- men und vernetzten Systemen in den Bereichen Automobil und Indus- trie 4.0 vor. Darüber hinaus fand ein Austausch zu potenziellen zukünf- tigen Forschungskollaborationen statt. DISTINGUISHED PAPER AWARD FÜR DAS FRAUNHOFER IKS Auszeichnung auf der EDCC 2021 Vier Forschende des Fraunhofer IKS wurden auf der European Depend able Computing Conference (EDCC) im September 2021 für ihr Paper »Dynamic Risk Ma- nagement for Safely Automating Connected Driving Maneuvers« ausgezeichnet. Aus allen akzeptierten Bei trägen wurden drei herausragende Arbeiten aus- gewählt und in einer eigenen Sitzung des Konferenz- programms als »Distinguished Paper« vorgestellt. Der Beitrag von Marta Grobelna, João-Vitor Zacchi, Philipp Schleiß und Simon Burton widmet sich einem neu- artigen Ansatz zur dynamischen Quantifizierung der Beziehung zwischen Unsicherheiten und dem Risiko während der Laufzeit autonomer Fahrzeuge, um einen Trade-off zwischen der Systemsicherheit und der Funk- tionalität zu finden. www.iks.fraunhofer.de/de/institut-kognitive-systeme.html FREISTAAT INVESTIERT IN FORSCHUNG ZU SICHERER KI Förderung durch das Bayerische Wirtschaftsministerium Bayerns Wirtschaftsstaatssekretär Roland Weigert (rechts) hat einen Förderbescheid für das Fraunhofer-Institut für Kognitive Systeme IKS an Institutsleiter Mario Trapp übergeben. Mit den zusätzlichen Fördermitteln in Höhe von 20,1 Millionen Euro soll die angewandte Forschung und Entwicklung im Bereich der »Safe Intelligence« weiter vorangetrieben werden.

29 https://www.iks.fraunhofer.de/de/projekte/aufbauprojekt-fraunhofer-iks/teilprojekte-aufprojekt.html