ANDREA SPIEGEL: Okay, ich glaube, dann habe ich den groben Scope verstanden. Das heißt, wir haben ja gesagt, es geht aber, wenn du da bist, vor allem auch um das Thema IT-Sicherheit. Und gerade jetzt bei diesen AI-Systemen oder KI-Systemen, also Künstliche Intelligenz, würde mich mal interessieren, wie sichere ich denn sowas ab? Also ich denke, wir haben ja eh schon immer dieses Thema, alles, was in der Cloud ist und so weiter, ist alles irgendwie immer angreifbar, oder das ist ja das, wovor viele auch Angst haben. Jetzt kommt noch eine KI dazu, die selber auch noch Entscheidungen trifft im weitesten Sinne, so fühlt sich das ja zumindest an. Wie sichere ich sowas ab? Kann ich das überhaupt?
MIRKO ROSS: Also erst mal richtig zusammengefasst ist, dass KI-Entscheidungen trifft. Ich gebe einem KI-Systemeine Aufgabe und dann gibt es mir eine Antwort drauf oder eine Entscheidung drauf. Das ist das Prinzip, wie KI-Systeme funktionieren. Und jetzt kommt halt bei diesen Entscheidungen etwas hinzu, wo man sich neu aufstellen muss im Denken. Früher, wenn ich programmiert habe, habe ich eine Funktion, da gebe ich einer Funktion einen Wert rein, die berechnet irgendwas, gibt mir einen Wert raus. Das ist ein sehr festgelegter Prozess, außer es handelt sich um eine Zufallsfunktion. Aber jetzt sagen wir mal, in der Regel kann ich das sehr gut, kann ich sagen, ich kippe die Zahl 5 rein und ich erwarte die Zahl 9 als Rechenergebnis. Bei KI ist es etwas anderes. KI trifft Aussagen aufgrund von statistischen Wahrscheinlichkeiten. Die Aussage, die ich von einem KI-System erhalte, spielt sich in einem statistischen Wahrscheinlichkeitsraum ab.
Wer vom Publikum schon mal ChatGPT ausprobiert hat, und das waren viele Ausprobiere.
ANDREA SPIEGEL: Ich wollte gerade sagen, die meisten wahrscheinlich.
MIRKO ROSS: Der kann einfach einen Versuch machen. Der kann einfach eine Frage an ChatGPT stellen, also einen Prompt stellen. Und er muss mal die Frage einfach mehrmals wiederholen. Dann schaut man sich das Ergebnis an und dann wird man feststellen, dass die Antwort im Detail nie gleich ist. Warum? Also im Groben vielleicht ja, aber quasi im Detail nie gleich. Warum? Weil das KI-System eben immer variiert. Es gibt quasi keine exakten Antworten, sondern es gibt Antworten in einem Wahrscheinlichkeitsraum.
ANDREA SPIEGEL: Es hat keine Gleichung, sondern eine Wahrscheinlichkeit.
MIRKO ROSS: Genau. Und da unterscheidet sich, da müssen wir eben jetzt umdenken. Und jetzt ist die entscheidende Frage, die es schwierig macht bei KI-Systemen. Ist die Antwort, die das KI-System in seinem Wahrscheinlichkeitsraum liefert, liegt das Ganze in einem plausiblen Wahrscheinlichkeitsraum oder in einem nicht-plausiblen? Also ist die Antwort quasi richtig oder falsch im Groben? Und auch das können wir sehr gut nachvollziehen. Stell mal ChatGPT eine Frage über dich beispielsweise und dann musst du halt oft feststellen, dass das, was da rauskommt, totaler Quatsch ist. Die Antworten, die da rauskommen, liegen eigentlich in dem nicht plausiblen Wahrscheinlichkeitsraum. Sie sind nicht richtig. Ich möchte Antworten haben, die nur in diesem plausiblen Wahrscheinlichkeitsraum liegen. Und das macht die Schwierigkeit bei KI-Systemen aus, denn objektiv gesehen mag alles sinnvoll erscheinen. Wenn man es jedoch im Detail betrachtet, sind da Antworten dabei, die außerhalb dessen liegen, wo man sagen würde, das ist der richtige Wahrscheinlichkeitsraum. Und dieser Spagat in der Qualität der Aussagen ist die eigentliche Herausforderung bei KI-Systemen.
ANDREA SPIEGEL: Okay. Du hast in der letzten Folge erzählt, dass ihr unter anderem auch KI-Systeme hackt. Und euch das halt mal anschaut, wo haben die Schwachstellen, wo kommen wir rein? Ich würde mal gerne verstehen, wie das funktioniert. Also setzt du dich da einfach hin und tippst ein paar Sachen ein und dann weißt du, wo die Schwachstellen stecken? Oder wie funktioniert das?
MIRKO ROSS: Naja, das funktioniert ein bisschen anders. Das Wichtigste bei KI-Systemen sind Daten. Und Daten brauche ich an zwei Stellen. Ich brauche Daten beim Trainieren des Systems und ich brauche Daten natürlich, wenn ich dem System eine Frage stelle. Das sind beides zwei verschiedene Datenwelten, aber es sind Daten. Und genau da ist dann auch der Angriffspunkt für den Angreifer. Das eine ist, ich kann ein KI-System während dem Training angreifen. Und Training funktioniert so: Ich gebe einen Datensatz rein und klassifiziere diesen Datensatz. Beispiel Bild von einem Hund. Ich nehme ein Bild von einem Hund und sage dem KI-System, guck mal, was du hier auf dem Bild siehst, das ist ein Hund. Aber da gibt es Probleme beim Training vom KI-System. Ich mache das jetzt mit tausend Bildern von Hunden und sage immer Hund, Hund, Hund, Hund, Hund. Dann erwarte ich dann nachher quasi, dass das System mir sagt, wenn ich ein anderes Bild von einem Hund reingebe, okay, das ist ein Hund. So funktioniert Training.
Aber ich kann da schon Fehler machen. Nehmen wir an, ich gebe tausend Bilder von Hunden rein, in denen der Himmel immer blau ist. Dann wird Folgendes passieren, wenn ich ein Bild reingebe von dem blauen Himmel, dann könnte es sein, dass das KI-System mir sagt, oh, das ist ein Hund. Einfach, weil diese Bilder vielleicht überschneidende Merkmale haben, die überhaupt gar nichts mit Hunden zu tun haben. Das ist nämlich blauer Himmel. Aber das weiß das KI-System ja nicht. Das lernt ja gerade in dem Moment. Das sagt sich einfach, ah, das sind irgendwie gemeinsame Merkmale auf dem Bild.
ANDREA SPIEGEL: Da ist immer eine Blume drauf oder wie auch immer.
MIRKO ROSS: Das ist ein klassisches Problem, das man beim Training vom KI-System hat. Und das kann man auch als Angreifer nutzen. Das nennt man so einmal falsches Labeling. Man tut unterschiedliche Labelings in den Fachbegriff reinschmuggeln. Und dann könnte ich sagen, okay, nachher, wenn das System läuft, und es sollen Hunde erkennen, komme ich als Angreifer und werfe in dem Moment mein Bild von einem Himmel rein und sage, okay, das ist ein Hund. Das wäre so eine Mundeperiode.
ANDREA SPIEGEL: Aber das kannst du ja, also beim Training kannst du es ja eigentlich nur, wenn dich jemand beauftragt, das während des Trainings zu testen. Oder ist das was, wo ich tatsächlich auch von außen reinkomme?
MIRKO ROSS: Nee, erst mal, das wäre ein Angriff auf Training. Und dann ist immer die Frage, woher kommen Trainingsdaten? Sind das quasi Trainingsdaten, die aus den Unternehmen selber kommen? Oder sind das Trainingsdaten aus öffentlichen Quellen? Und manchmal kann man das auch gar nicht so einfach unterscheiden. Also ich brauche vom KI-System ja unheimlich viel Daten. Unternehmen müssen deswegen nach Quellen gucken, woher sie diese Daten kriegen. Eine Frage sind diese Daten qualitativ? Sind die gut? Sind die vertrauenswürdig? Ist tatsächlich im Detail gar keine so einfache Frage.
Nehmen wir mal hier, weil wir ja Maschinenbau oder Industrie haben. Ich nehme Daten von einem Sensor aus einer Maschine oder aus einer Produktionsanlage. Sind diese Daten vertrauenswürdig? Das ist eine Frage. Kann jemand anders nicht anstelle dieses Sensors Daten manipulieren? Kann der nicht sagen, okay, der Sensor soll ganz andere Daten liegen? Wenn ich das nicht erkenne oder abfange, dann bekomme ich manipulierte Daten in meinem System. Die gehen ins Training rein, dann läuft das Training falsch, wird falsch angelernt, kann ich später ausnutzen. Eine Angriffsform.
Die zweite Angriffsform wäre, ich greife das System an auf den Daten, die ich reingebe. Ich habe ein trainiertes KI-Modell. Ich gebe quasi Daten rein und greife es an. Das ist ein Angriff auf die Struktur, wie KI-Systeme funktionieren. Also jetzt mal unabhängig von den Trainingsdaten vorher. Einfach nur auf das Modell.
ANDREA SPIEGEL: Das heißt, es hat schon irgendwas gelernt.
MIRKO ROSS: Es hat irgendwas gelernt.
ANDREA SPIEGEL: Hunde zu erkennen.
MIRKO ROSS: Genau. Unser System hat gelernt, Hunde zu erkennen. Und jetzt gibt es einen strukturellen Angriff auf KI-Systeme. Wenn wir ganz im Detail, zum Beispiel bei Deep Learning, neuronale Netze wäre das Stichwort. Wenn wir uns halt anschauen, so ein System besteht aus einem neuronalen Netz. Und du hattest vorhergesagt, ja, ist ein KI-System programmiert oder ein Stück Software? Und die Antwort ist nicht so ganz so einfach. Ein KI-System ist erstmal ein Modell und es ist Software. Das ist was anderes. Also das Modell ist quasi das, was gelernt wurde. Die Struktur, da steckt die Struktur hin von dem, was gelernt wurde. Und die Software ist das, das natürlich hintenrum dann als, hilft dieses Modell, dass die Prozesse ablaufen.
KI-Systeme sind, also neuronale Netze, sind kleine Statistikmaschinen. Jedes Neuron, das man in so einem neuronalen Netz hat, ist eine kleine Statistikmaschine. Das heißt, das ermittelt Dinge quasi über Statistik. Und die sind miteinander verschachtelt. So ein Ergebnis nachher zu sagen, das ist ein Hund, ergibt sich aus Bildvergleichen, die diese einzelnen Neuronen machen und gelernt haben. Und dann läuft es so eine Kette von vielleicht, sagen wir mal, 50 Neuronen durch, gestaffelt. Und jede kommt zu einer statistischen Entscheidung, die sagt, ja, Hund, na, ja, nein, sage ich mal so simpel gesprochen. Ganz am Ende kommt das Ergebnis raus, Hund.
Der Angriff, den man macht, ist auf dieses einzelne Neuron, wie die arbeiten. Und man kann diese einzelnen Neuronen, weil die arbeiten eigentlich mit Statistik, mit mathematischen Werten. Man kann dem quasi manipulierte mathematische Werte rangehen.
Okay, wird jetzt kompliziert. Ich probiere es ganz einfach zu sagen. Was dazu führt, dass das einzelne Neuron, wenn der mathematische Wert leicht abweicht in der Summe, dass einzelne Neuronen kippen. Die fallen in falsche Entscheidungsrichtungen. Und wenn natürlich einzelne Neuronen gezielt, wenn ich die gezielt kippen lassen kann als Abweichler, komme ich ja ganz am Ende dabei raus, die haben falsche Entscheidungen getroffen und kommt zum Ergebnis, dass es nicht ein Hund ist, sondern ein Flugzeug. Jeder sieht doch, dass es ein Hund ist. Warum sagt das System mit 99,9 Prozent Sicherheit, dass es ein Flugzeug ist?
Den Angriff, den man anwendet, ist ein sogenannter Rauschangriff. Das heißt, man gibt eine Information rein, die Bildinformation sieht aus wie ein Hund, aber dort sind einzelne kleine Pixelwerte verändert worden, mit einem Rauschbild überlagert. Und diese Veränderung, dieses Rauschen, das einkodiert ist in diesem Bild, führt dann dazu, dass diese Neuronen kippen können. Also die können wir kippen lassen und dass dann das Ergebnis falsch ist. Was ist der dramatische Effekt davon? Nehmen wir Systeme, die in der Sicherheit arbeiten, die zum Beispiel Bilderkennung machen auf Gesichter oder Personen. Es gibt Beispiele, man kann sich im Internet kaufen, ich kann mir ein T-Shirt kaufen, da ist ein Störmuster drauf. Da wird das Bild gelesen von einem KI-System, da ist dieses Störmuster drauf, das die Neuronen beeinflusst. Und zack, dann sagt das KI-System nicht, dass hier die Andrea ist, sondern dass ein Paradiesvogel dasitzt. Mit 99,9 Prozent Sicherheit. So, und das war der Angriff. Das heißt, diese Systeme sind auch in sich quasi auf der Art und Weise, wie sie strukturell arbeiten und aufgebaut sind, angreifbar. Und jetzt kommt die schlechte Nachricht, das ist ein strukturelles Problem. Wir können jedes KI-System der Welt mit diesem Angriff manipulieren.
ANDREA SPIEGEL: Aber da wäre jetzt meine Frage angenommen, ich habe das innerhalb meiner Firma und nicht irgendwie eine Bilderkennungssoftware im öffentlichen Raum. Wie kommt man da ran? Übers Netz? Übers Internet?
MIRKO ROSS: Genau, die Frage ist ja, ich komme zum Beispiel über die Kamera ran. Wenn das ein System ist, das halt kameraaudiovisuell etwas macht, dann kann ich das Störmuster halt über das Kamerabild injizieren.
ANDREA SPIEGEL: Das heißt, ich müsste quasi checken, ob das Kamerasystem, was ich da kaufe bei dem jeweiligen Hersteller, ob das die entsprechenden Sicherheitsvorgaben hat?
MIRKO ROSS: Ja, was es vermutlich nicht hat, mal abgesehen davon.
ANDREA SPIEGEL: Das ist mal wieder bei diesem Supply-Chain-Thema.
MIRKO ROSS: Genau, was es nicht haben wird. Und eigentlich, was ich machen muss, ist bei KI lernen, dass ich Datenprinzipiell nicht vertrauen darf.
ANDREA SPIEGEL: Aber wozu habe ich die dann? Mal ganz ehrlich.
MIRKO ROSS: Ja genau, aber ich muss erstmal lernen, ich darf Daten prinzipiell nicht vertrauen. Ich muss die quasi immer als feindlich betrachten und dann muss ich die behandeln. Also ich muss sagen, okay, ich muss die Daten prüfen, ich muss die vielleicht entschärfen. Ich kann das Störmuster deaktivieren, gibt es verschiedene Verfahren. Und erst wenn ich das gemacht habe, darf ich die Daten nehmen und verarbeiten. Der Fachbegriff ist entgiften. Man geht davon aus, die Daten sind immer vergiftet. Ich muss sie erstmal entgiften, neutralisieren und dann behandeln.
ANDREA SPIEGEL: Das heißt, das ist quasi ein Standardprozess, den ich eigentlich immer machen muss. Also ich habe quasi meine KI, lasse die da laufen in meiner Produktion oder wie auch immer und lasse gleichzeitig immer, bevor ich die Daten dann nutze, auswerte, an meine Maschinen weitergebe oder so, über so eine Entgiftung laufen.
MIRKO ROSS: Genau, und jetzt kommt das Schöne.
ANDREA SPIEGEL: Das ist jetzt die gute Nachricht hoffentlich.
MIRKO ROSS: Die gute Nachricht für alle draußen, man muss da nicht angreifbar sein, wenn man nämlich genau das macht. Nimm einen Datensatz, vertraue grundsätzlich keinem Datensatz. Tu ihn erstmal entstören, entgiften und dann weiterverarbeiten ans KI-System. Das wäre der empfohlene Weg. Also die gute Nachricht, man kann sich davor schützen. Die schlechte Nachricht, KI-Ingenieure und Designer denken da überhaupt gar nicht dran heutzutage. Die haben diesen Angriffsvektor so gut wie nicht im Fokus. Deswegen haben wir da draußen unheimlich viele KI-Systeme, die angreifbar sind über diesen Weg.
ANDREA SPIEGEL: Okay, das heißt aber, es gibt eine Lösung. Das ist ja die gute Nachricht, darauf würde ich mich gerne fokussieren.
MIRKO ROSS: Ja, genau, die gute Nachricht ist, es gibt eine Lösung. Man muss es im Entwicklungsprozess, im Designdes Systems halt vorsehen.
ANDREA SPIEGEL: Also das ist quasi etwas, was ich nicht nachrüsten kann?
MIRKO ROSS: Doch, kann ich auch. Ich kann ja auch, um es einfach, nochmal ein einfaches Bild zu erklären. Als wir im Jahr 2000 Webformulare, die ersten Webformulare auftauchten, da gab es ein Kontaktformular. Name, Anschrift, E-Mail-Adresse. Sind die Programmierer immer davon ausgegangen, dass in diesen Feldern die Leute Namen eintragen, Vorname, Nachname und hier tragen sie ihre E-Mail-Adresse ein. Und haben dann die Daten entgegengenommen, sofort verarbeitet in ihren Funktionen. Keiner hatte dran gedacht oder viele haben nicht dran gedacht, dass da jemand ja auch Code quasi in so ein Feld eingeben könnte. Und dass dieser Programmcode dann übernommen wird und verarbeitet wird. Und das war ein Standardangriff quasi in der frühen
Webprogrammierung. Heute hat man gelernt, dass man Daten aus Onlineformularen nicht einfach vertrauen sollte, sondern man nimmt die erst mal, tut die entschärfen.
ANDREA SPIEGEL: Ein Format zum Beispiel, bei einer E-Mail-Adresse erkennt man ja, ist das ein valides Formatoder nicht.
MIRKO ROSS: Genau, und tut zum Beispiel schädliche Code-Bestandteile, kann man erkennen und ausfiltern in Funktionen. Und erst dann werden die Daten verarbeitet von den jeweiligen Funktionen. Genau das Gleiche müssen wir bei KI machen.
ANDREA SPIEGEL: Verrückt, okay. Aber das heißt, gibt es solche Systeme schon? Wahrscheinlich schon. Oder also die man extra dazu buchen kann. Oder ist das so spezifisch? Stell mir jetzt einfach vor, wie du sagst, das eine ist Bilderkennung, das andere ist vielleicht Temperaturmesser oder wie auch immer. Da gibt es ja verschiedene Sachen, die man mit KI machen kann. Kann ich da einfach ein System dann über alles legen? Oder brauche ich dann schon immer das spezifische für meinen Anwendungsfall?
MIRKO ROSS: Ja, ich muss natürlich erst mal schauen, okay, was sind das für KI-Systeme im Hintergrund. Aber für jedes KI-System gibt es da die Möglichkeit, das zu machen. Und wir bieten zum Beispiel die Möglichkeit über Plugins, dass man sagt, da kommt ein Videobild rein, zack, läuft über das Plugin, entschärft und dann geht es weiter. Ja, und für Leute, die KI-Systeme im Einsatz haben, die arbeiten eigentlich auch in solchen Umgebungen, in denen man so ein Plugin einfach einarbeiten kann.
ANDREA SPIEGEL: Okay, das heißt, das ist quasi so ähnlich wie die Aussage geprägt durch Winston Churchill, glaube ich, Vertraue keiner Statistik, die du nicht selbst gefälscht hast, vertraue keinem Datensatz, den du nicht selbst entgiftet hast.
MIRKO ROSS: Genau.
ANDREA SPIEGEL: Ist das quasi so das Motto?
MIRKO ROSS: Ja, genau.
ANDREA SPIEGEL: Okay, alles klar. Ich glaube, dann habe ich es verstanden. Vielen Dank für den Einblick. Das heißt, ihr geht quasi da rein, schaut euch an, werden diese Systeme entgiftet und wenn nicht, wo kann ich das quasi rauskitzeln?
MIRKO ROSS: Genau, also wir gucken uns Kunden, die wir haben, die KI-Systeme einsetzen. Und auch in der Industrie gibt es wirklich tolle Unternehmen, die KI-Systeme einsetzen. Wir unterstützen sie dabei, die Systeme an der Stelle zu härten. Zu sagen, okay, guck mal, die sind manipulationssicher. Da gibt es einen anderen Begriff, der heißt auch Robustheit. Also die Systeme sind robust genug gegen solche Manipulationsangriffe. So, dass ich eine Frage stellen kann und sicher sein kann, dass die Antwort in dem erlaubten Wahrscheinlichkeitsraum liegt und nicht außerhalb.
ANDREA SPIEGEL: Okay, voll spannend. Sehr, sehr interessant. Ich glaube, da kann man auch mal irgendwann vielleicht nochmal einen tieferen Einblick machen, wenn das ganze Thema noch ein bisschen präsenter ist in der Industrie.
