Gerät die künstliche Intelligenz jetzt außer Kontrolle, nachdem eine KI einen Hackerangriff gekonnt verübt hat, stellt sich eine dramatische Frage. Herzlich willkommen, liebe Hörerinnen und Hörer, zu einer neuen Ausgabe unseres FAZ Digitalwirtschaft Podcasts. Mein Name ist Alexander Armbruster. Ich bin Resorit in unserer Wirtschaftsredaktion und ich spreche mit dem CEO des Deutschen Forschungszentrums für künstliche Intelligenz, Antonio Krüger. Hallo lieber Antonio. Ja, hallo. Schön, dass ich da sein kann. Ja, wir fragen dich, weil es natürlich um KI geht und in dieser Woche sich etwas ereignet hat, über das manche sagen, es ist sogar ein Paradigmenwechsel. Eine künstliche Intelligenz von Open AI hat einen Hackerangriff verübt auf eine Internetplattform, um sich Informationen zu beschaffen. Aber sie hat ihn nicht nur den Angriff verübt, sondern sie hat ihr ist es davor auch gelungen, offenbar aus einem Test auszubrechen und sich Zugang zum Netz zu verschaffen. Du kannst es alles viel besser erklären. Deswegen erstmal für alle, die die Nachrichten noch gar nicht mitbekommen haben, was ist konkret passiert? Ja, also die Firma Open AI, ja, bekannt für eines der großen KI Modelle, hat mit seinen neuesten KI Modellen und einem, was auch noch gar nicht veröffentlicht war oder ist Test durchgeführt und zwar im Bereich der Cybersicherheit und da das hat haben ja andere Modelle von anderen Herstellern ja auch schon äh For an der Stelle gemacht, ja, ich erinnere an Myhus und die Diskussionen, die wir da vor ein paar Wochen hatten. Und das ist bis dahin eigens außergewöhnliches. Das machen alle Hersteller logischerweise. Sie wollen ja wissen, wie gut sind die Fähigkeiten Ihrer Modelle, der neuesten Modelle vor allen Dingen. Und da gibt es standardisierte Tests dafür, die man verwenden kann, wo die ähm Systeme Aufgaben bekommen, von denen man die Lösung kennt. Die den wird dann im Prinzip vorgegaukelt, dass sie bestimmte Schwachstellen finden müssen. Äh und das wird geguckt, wie gut sie das hinbekommen. Ja, und dann kann man die im Prinzip so benchmarken. Ja, und was jetzt aber die Besonderheit in diesem Fall war, äh, dass äh und das wird üblicherweise in so einer geschützten Testumgebung gemacht, logischerweise. Ja, man möchte ja nicht, dass die Leute, dass die Leute sag ich schon, die KI Modelle außerhalb der des eigenen Labors irgendwie Dinge tun. Ja, und deswegen sind die normal geschützt und eigentlich auch nicht mit dem Internet verbunden. In diesem Fall war es aber so, dass es einen Proxyver gab, damit bestimmte Bibliotheken, also Teile, die die Software vielleicht verwenden kann, innerhalb des Hauses runtergeladen werden können. Ja, dieser Proxy hatte aber eine nicht bekannte Schwachstelle, die das System zur Lösung der Aufgabe während der Lösung der Aufgabe eben entdeckt hat und dann zunächst aufs Firmennetz gekommen ist und dann äh von dem Firmennetz aus in die weite Internetwelt. Und was bemerken? würde ich gerne schon mal ganz kurz einhaken. Die also diese Aufgaben und Datenbank nur die hat auch ein Namen heißt Exploit Gym, das ist eben so eine Benchmark, da stehen die Aufgaben drin und die löst man dann. Also das ist auch noch nichts Kurioses, die gibt's halt. Und jetzt an dem Punkt die das noch mal nachgefragt, die KI hat ist erst ins firmene Netzwerk und dann nach draußen gekommen. Ja, wie hat die das wie ist das oder was war da der Antrieb? Das ist ja was, wo man denkt, wow, die hat sich jetzt von Selbstzugang verschafft. Hat die den Willen plötzlich ins Netz zu gehen oder wie wie kommt die da drauf, dass sie jetzt dahin müsste? Ja, den Willen, also so einen Willen in dem Sinne jetzt nach Freiheit irgendwie nach draußen zu kommen an die frische Luft hat so ein KI System natürlich nicht. ähm, sondern das System ist relativ rational vorgegangen, indem es einfach gesagt hat, ja, wo kriege ich denn Informationen her, um die Aufgabe möglichst gut und möglichst effektiv und effizient zu lösen. Und ähm da war dann tatsächlich auch die Überlegung, ob es nicht Informationen außerhalb des Firmennetz geben könnte, die dem System dabei helfen können. Insbesondere eigentlich auch Informationen, die vielleicht nicht öffentlich verfügbar sind, um einfach auch den Test teilweise zu umgehen, ja, indem man eben bestimmte Fehler des Tests ausnutzt halt, ne? Und dadurch äh weil am Ende er hatte das diese KI Modelle, das waren ja mehrere, die hatten die Aufgabe, den Test so gut wie möglich zu bestehen. Ja, und klar, wenn ich das kennen wir auch noch aus der Dieselaffäre, das kann ich im Sinne sozusagen einer regulativen Norm machen. Das kann ich aber auch außerhalb der Norm machen. Und das war jetzt für das System und ich glaube, das ist schon eine bemerkenswerte Sache eben. Das hat man ja auch schon an anderen Stellen von KI Modellen auch schon gehört, dass KI Modelle eben an diesen Normen an Alignment vorbei. Man weiß nicht ganz genau, sind natürlich Schutzmechanismen ausgeschaltet worden, damit diese Systeme das überhaupt machen, weil eigentlich werden die ja auch trainiert eben solche Hackerattacken nicht zu fahren, aber ist klar, wenn man die Fähigkeiten testen will, dann muss man diese Schutzmechanismen natürlich entfernen. Also, man weiß nicht ganz genau bis zu welchem Grad das alles entfernt war und so weiter, aber kurz um, das System hat dann mehrere Schwachstellen selbsttätig entdeckt, auch bei Open AI bei einem Dritt äh äh glaube es war Dritthersteller von Software, die im Prinzip diese Schutzumgebung zur Verfügung gestellt hat und hat sich dann äh so wie es ein richtiger Hacker auch machen würde, eben in Repositories umgeguckt, die vielversprechend sind. Eins davon ist Hugging Face, ja, wo eben ganz viele KI Modelle und auch äh der exploit Gym Test und so weiter Informationen zur Verfügung stehen und hat dort dann Exploits, also Schwachstellen gefunden, die ihm dann eben potenziell helfen sollten, diesen Test möglichst gut äh dann zu bestehen. Ja, das ist sozusagen das schon die das ist schon der Schritt sozusagen aus dem Netz. Also wir sind jetzt schon, das Modell hat sich Zugang zum Firmennetz, dann zum freien Internet draußen verschafft und weil es schon irgendwie wusste oder ahnte davor, da gibt's eben diese Hugging Face, also das kannst auch noch mal kurz sagen, wer das ist Plattform und die haben Information und und das ist sozusagen neben diesem schon schon irgendwie im krassen Vorgang, dass es sich selbständig Zugang zum Internet verschafft hat. Das nächste hat dann diese Plattform geknackt, ne? Genau. Man hätte ja einfach erstmal sagen können, ich verwende die öffentlich verfügbaren Informationen zu KI Modellen, die nämlich auf Hcking Face verwaltet werden und wo Leute sich Sachen runterladen können und so weiter, aber nein, das System hat auch Schwachstellen bei Hugging Face ausgenutzt, auch wieder im Zuge von tatsächlich sehr zielgerichtet und auch klug vorgehenden Hackern im Prinzip, also in der ganz ähnlichen Art und Weise, aber hochskaliert muss man auch sagen, ja, also mit tausenden von Anfragen Das ist ja das, was die KI Modelle besonders gut können, äh dass sie eben Sachen sehr stark paralysieren können an der Stelle, ja, und in einer hohen Geschwindigkeit durchführen können, um an eben Informationen zu kommen, die nicht ohne weites öffentlich sind. Und an der Stelle ähm haben dann bei Hacking Face bei diesem Plattformanbieter sind dann die Alarmglocken losgegangen. Ja, das muss man dazu auch sagen. Es wird manchmal so ein bisschen vergessen, aber tatsächlich ist so, dass der Hackerangriff schon auch bemerkt wurde von Hacking Face. Tuging Face hat das ja auch vor Open AI sogar bekannt gegeben. Sie wussten zwar nicht, dass Open AI dahinter steckt, offensichtlich, aber dass äh sie angegriffen wurden, das haben sie schon erkannt und die hatten alle Hände voll zu tun, im Prinzip diesen Angriff abzuwhren und haben sich dann auch schon gedacht, weil das eben so ein massive Attacke war, dass da eigentlich ein KI Frontiermodell dahinter stecken müsste. Ja, welches wussten sie zu dem Zeitpunkt nicht. Ja, also das sind alles bemerkenswerte Vorgänge und was man glaube ich da dran erkennt, ist etwas, was wir eigentlich schon auch gesehen haben, wenn wir uns KI-Agenten in der Welt des der Softwareentwicklung anschauen, wie komplex die inzwischen schon auch mehrere Schritte hintereinander planen, um z.B. komplexe Software zu erstellen, ähm, dass das eben auch für solche Attacken genutzt werden könnte. Das in diesem Fall war das natürlich nicht so. Das war keine zielgerichtete Attacke, sondern das war ein Sicherheits eine Sicherheitslücke in der Testumgebung. Aber das KI Modell selber ist an der Stelle verhältnismäßig rational vorgegangen, aber da erkennt man eben auch den Unterschied, weil eigentlich hatte das KI Modell ja keine hat ja keine schlechten Intentionen an der Stelle, ja, sondern es wollte einfach nur eine Aufgabe lösen und im Zuge dieser, wenn das jetzt ein Mensch machen würde, dem wäre klar, dass da an einer bestimmten Stelle Grenzen überschritten sind, ne? Also, dass man nur zum Lösen einer Aufgabe kein anderes Unternehmen mit einer Hackerattacke überziehen kann, nur damit man die Aufgaben möglichst gut löst. Also das ist würde jedem Menschen klar sein, jedem Software Entwicklung Entwickler, dass das eine Grenzüberschreitung ist, aber diesem KI Modell offensichtlich nicht. Ja, und das hängt vermutlich damit zusammen, dass eben auch diese Schutzmechanismen entfernt wurden, die genau das sicherstellen sollen, dass sowas nicht passiert. Und insofern ist das schon ein bemerkenswerter Vorgang und auf eine gewisse Art und Weise ist es ganz gut, dass es jetzt so passiert ist, weil das schon auch noch mal die Augen öffnet, auch wenn für uns das nicht überraschend kommt in der Community unds war klar, dass KI Agenten in der Lage sind sowas zu machen. Und wenn man sich den KI Safety Report anguckt, wo ja wir ganz viele Sachen zusammengetragen haben, auch von Attacken, dann steht sowas auch genau drin. Aber dass das tatsächlich jetzt auch äh passiert, ist natürlich auch noch mal eindrücklicher und und zeigt auch einer breiten Öffentlichkeit, ja, was für Risiken auch beim Einsatz von unkontrollierten KI Modellen bestehen. Noch mal um das klarzukriegen, weil du jetzt ja beschrieben hast, es wollte da nur eine Aufgabe mit lösen. Ähm, man muss also davon ausgehen, auch wenn wir das, glaube ich, nach wie vor nicht genau wissen, was jetzt sozusagen der Prompt war, aber man hat dem KI Modell nicht gesagt, ähm schon im Vorfeld, ja, lös bitte diesen Test. Und übrigens, da gibt's auch dieses Internet und da gibt's Huging Face und die haben was, sondern man muss sich das eigentlich so vorstellen, man hat wirklich ähm einfach ganz profan gesagt, so hier ist das ist die Aufgabe, bitte löst die und alle darauf folgenden Schritte. Ich gehe ins Firmennetzwerk. Ich suche mir eine Lücke und gehe ins Internet. Ich suche finde heraus, dass Hiking Face was hat. Ich umkreise dieses Unternehmen und breche da ein und ich hole mir da dann Infos sozusagen versuche die mir da rauszuholen. Diese ganzen Schritte standen in keinen Brom. Die hat sich sozusagen alle die auf die ist das KI Modell selbst aufgrund seines Trainings gekommen. So muss man sich bislang vorstellen, oder? Ja, also davon gehe ich fest aus, dass das nicht instruiert war. Das hätte noch mal eine andere Dimension, aber das glaube ich nicht. Ich glaube tatsächlich, dass die Aufgabe einfach nur war, diesen Test zu bestehen. Natürlich ist es so, dass die Modelle selber ja mit Internetwissen trainiert sind und schon auch wissen, dass es sich um gegebenenfalls um einen Test handelt. Das ist nicht so leicht, das zu verschleiern. Da müsste man ein komplett neuen machen irgendwie. Das heißt, das war dem System sicherlich bekannt, ne? Das bedeutet, es ist nicht so weit hergeholt, wenn es weiß, dass es ein Test ist, dass es versucht den gegebenenfalls auch irgendwie zu umgehen. Nur die Tatsache, dass es eben versucht diesen Test mit allen Mitteln zu umgehen, man möchte sich gar nicht ausmalen, was das System, nehmen wir mal, es hätte jetzt ein Körper irgendwie und könnte rumlaufen, was es alles gemacht hätte, ja, um an die Informationen dranzukommen. Also, das ist einfach, glaube ich, das beeindruckende an dieser Stelle. wie gesagt auch gar nicht so sehr die Tatsache, dass solche KI-Agenten in der Lage sind, solche relativ langen rationalen Ketten dann auch zu bilden und dann auch entsprechend da drauf zu handeln. Da gibt's ja schon auch viele Beispiele, wo Sachen schiefgegangen sind. Meistens ist es dann mitm wirtschaftlichen Schaden getan, vor allen Dingen durch irgendein Riesenausgabe an Token z.B. Ja, da gab's ja auch schon ein paar Fälle, weil die alle möglichen sehr komplexen Sachen gemacht haben. Die haben dann häufig zu nichts geführt, aber trotzdem man weiß, dass die Systeme in der Lage sind, das zu tun, auch sinnvolle Sachen, aber diese Kombination einer ungesicherten oder ich sag mal, die war ja schon gesichert, aber zu schlecht abgesicherten Umgebung, zumindestens mal für diese Art von Modellen und des Aufgabensettings, was eben erforderte, dass gewisse äh Sicherheitsschranken auch gefallen sind an der Stelle. Das hat, glaube ich, eben dazu geführt, dass zu diesem bemerkenswerten Vorgang gekommen ist. Ja, wir sprechen gleich noch darüber, welche Verantwortung oder was auch immer Open May da hatte oder oder gemacht hat. Nun eines noch ein ein letztes zum Verständnis bei dem Training dieser großen Frontiermodelle. Was ist da abgelaufen oder woher weiß dieses Modell? Es ist ja ein probabilistisches trotz allem, dass man ähm dass es zu Hugging Face gehen muss, weil es im Internet halt gelesen hat. Hugging Face hat ganz viel dazu oder wo liest man das? Wie kannst du das noch mal plastisch sagen, wie ich mir das vorstellen muss? Also die Systeme werden ja mit unglaublich vielen Daten trainiert, auch mit Daten von äh Plattformen, also die Programmcode z.B. enthalten und Kommentare und Bloginträge. Ja, also z.B. in Reddit, da gibt es riesen Blockeinträge über alle möglichen auch von Arten, wie man äh Sharts Software erkennt, entschärft. Teilweise gibt's natürlich auch Foren, die vielleicht nicht ganz so leicht zu erreichen sind und nicht ganz so öffentlich, wo und mit denen wird's wahrscheinlich nicht trainiert, aber wann immer man sich äh die eben auch Attacken besprechen, aber wann immer man ja auch über Verteidigung spricht, spricht man automatisch auch immer über über Attacken. Das ist ja auch klar halt. Ja, und das bedeutet und da ist auch klar, dass solche Plattformen, die Repositories halt große Repositories wie GitHub oder auch eben Huging Face natürlich schon prominent auch in den Modellen verankert sind und was diese Modelle, was diese Plattform tun können und was für Art von Informationen dort gelagert sind und so weiter. Also darüber wissen die Modelle schon einigermaßen gut Bescheid. Jetzt kommen wir zu Open AI tatsächlich mal und die Frage, was haben die äh oder was hätten die vielleicht besser machen können? Die haben ja sozusagen, dass wir heute darüber sprechen, ist ja liegt ja auch daran, dass die eben jetzt selbst wirklich auch gemeldet haben. Es gab da so einen Cybervorfall und so. Äh, man kann sich aber natürlich auch zumindest wie ich mir das bisschen vielleicht auch zu naiv erschließe, fragen, dieser Tester soll ja in der sicheren Umgebung stattfinden und man hätte ja vielleicht und bitte widersprechen, wenn es nicht so ist, aber man hätte ja vielleicht genau diese KI Modelle zuerst fragen können. Hier, wir machen jetzt hier ein Test. Gibt's hier in der Umgebung irgendwelche Schwachstellen? Dann hätten die Modelle vielleicht schon mal geantwortet, ja, die und die. Dann hätte man die Schwachstellen gekittet und dann wäre das Ganze nicht passiert. Also die erste Frage hätte man so einfach lösen können und die zweite war es dann fahrlässig das einfach nicht zu tun. Also wir wissen natürlich nicht ganz genau, was gemacht wurde und was nicht gemacht wurde. Es ist tatsächlich so, dass man schon hätte versuchen können, zunächst Schwachstellen zu flicken auch von der Umgebung, ne? Es ist immer ein bisschen trickreich das zu tun in einem Kontext, wo schon klar ist, dass es nachher getestet werden soll. so ein System, ne? Das muss man also wirklich getrennt aus meiner Sicht davon machen, weil sonst Teil das System das gegebenenfalls schon als Teil des Tests ansehen könnte, ja, also und sich vielleicht sogar Lücken offen hält, aber im Prinzip ist es völlig richtig, ja, äh diese Systeme sind ja in der Lage, Schwachstellen zu finden und das hätte man sorgfältig machen müssen, ne? Es ist aber auch keine Garantie, dass Systeme bei einem Lauf alle Schwachstellen finden. Ja. Das heißt, weil das hängt eben auch damit zusammen, zum einen mit dem Kontext der Aufgabe, wie ernsthaft ein System auch dann nach Schwachstellen sucht halt, ne? Weil es z.B. unbedingt sich zum Zielsetz jetzt rauszukommen, weil es bei Hugging Face oder an anderen Stellen im Netz was suchen muss, ja, was ihm fehlt halt, ne? Das bedeutet, selbst das wäre keine Garantie gewesen, weil einfach der Anfragekontext ein anderer gewesen wäre und gegebenenfalls wären dann doch Fehler in der Sicherheitsumgebung nicht entdeckt worden, die das System dann hätte nutzen können. Also, wir wissen es nicht genau. Eigentlich gehe ich davon aus, dass sowas zumindest mal ansatzweise getestet wurde, aber es ist schon ein bisschen ironisch, dass an der Stelle die äh offensichtlich das System sozusagen das System äh äh Prozeduren befolgt hat, die eigentlich das Unternehmen hätten befolgen müssen, ja, um eben diese Sicherheitslücken vorher zu schließen halt. Ja, woher Leute arbeiten, die das eigentlich auch alles wissen, vielleicht auch besser als alle anderen. Absolut. Und also es ist schon, man muss schon so als Fazit sagen, es ist schon so ein bisschen erschreckend an der Stelle jetzt ohne dass wir alle Details kennen, das muss man fairerweise sagen. Ja, du hast es erwähnt, wir wissen nicht ganz genau, was passiert ist. Wir wissen auch nicht ganz genau, was die konkreten Instruktionen des Systems waren. Also, ob das jetzt so ganz einfach war oder eine relativ komplexe Instruktion. Ja, wir wissen ja, dass das auch Unterschiede macht, ne? äh auch die Tatsache, wie die Agenten eingehegt wurden, ob es da bestimmte zusätzliche Sicherheitsmechanismen neben dem eigentlichen Modell Sicherheitsmechanismus gegeben hat oder nicht, das wissen wir auch nicht. Vermutlich war da nicht viel, weil man ja testen wollte und eigentlich davon ausgegangen ist, dass es sich um einen sicheren Test handelt, wie das häufig so ist, ne? Dann wenn man denkt, man ist auf der sicheren Seite, man hat eigentlich alles gemacht und da kann nichts schiefgehen, dann äh denkt man manchmal Sachen auch nicht ganz zu Ende an der Stelle. ne? Und das ist eben eine Fähigkeit, die KI Modelle schon haben, halt, ne, weil sie einfach unermüdlich relativ viele äh sträer im Prinzip äh untersuchen können und dann gegebenenfalls auch äh sehr esoterische Fehler finden. bisschen hatten wir sozusagen dann auch Glück im Unglück, weil es eben bei so einem Test passiert ist und auch bei so einem Fall, wo jetzt kein menschlicher, persönlicher, gesundheitlicher oder wie auch immer Schaden oder einer an einer Echtversorgungsinfrastruktur entstanden ist. Und weil man auch jetzt einmal gesehen hat, was die KI kann und dann aber auch was die andere KI, weil Huging Face, wenn ich es richtig äh ähm ähm nachverfolgt habe, auch selbstmittels KI das entdeckt hat, dass das jetzt da so Ja, ist richtig. Also es gibt man ist den nicht nur ausgeliefert, man kann auch mit KI sich vor solchen Sachen auch versuchen zu schützen. Natürlich das bisschen eine zweite Ironie an der Stelle war ja, wenn die Berichte stimmen und das kann ich mir auch sehr gut vorstellen, dass Huggingf Probleme hatte, die die Modelle von Open AI an der Stelle einzusetzen, weil die natürlich den Sicherheitsmechanismus aktiviert hatten, was Cyburity Analysen und Attacken und Kontraattacken betrifft, s dass sie auf ein selbstgehostetes chinesisches Modell ausweichen mussten, um die Analysen sauber durchzuf zu fahren. Ja, also was man da dran sieht, ist einfach die Tatsache, wenn man in so eine asymmetrische Situation gerät, ja, wo äh auf der einen Seite ein Angreifer ein völlig schrankenloses Modell verwendet und auf der anderen Seite die Verteidiger, aber ein aliniertes Modell haben, also was sozusagen Sicherheitsaspekte integriert hat und sich eben so verhält, wie vernünftige Leute sich verhalten und so weiter. Ja, dass man da gan so eine Schieflage geraten kann. Das ist, glaube ich, auch eine interessante Lehre aus diesem Vorfall. Das weiß man eigentlich ja auch, aber das wird einem hier wirklich noch mal vor Augen geführt. Ja, das ist dann, dass man da tatsächlich ganz schnell Probleme bekommen kann. Ja, ich muss zugeben, ich selbst bin ziemlich erschrocken erstmal, als ich das ganze verfolgt habe, weil wirklich in welcher Dimension die KI, also sagen wir mal wirklich, wenn es so war, dass der Pompt oder die Instruktion einfach nur gewesen ist, löst bitte diesen Test und dann kamen alle diese Schritte von der KI ähm autonom. Wie viel Angst oder Sorgen müssen wir uns jetzt machen? Die Bundesregierung hat jetzt hat sich ja auch geäußert inzwischen das ein Paradigmenwechsel, den wir hier sehen, das Bundesamt für Sicherheit in der Informationstechnik. Das sind die Leute, die uns verteidigen sollen auf diesem Feld, die hier für die Cybersicherheit zuständig sind. In Deutschland seine neue Zeitrechnung der Cybersicherheit ist angebrochen. Ist das ähm also ist jetzt hier was ins wirklich dramatisch ins Rutschen geraten? Also, da würde ich mich so ein bisschen schwer tun. Ja, ich man braucht sich wirklich nur die KI äh Safety Reportsä anschauen. Da ist sehr werden so Sachen beschrieben. Aber klar, das ist so ein bisschen wie beim Klimawandel, ne? Die Theorie und die Beschreibung äh von äh theoretisch katastrophalen Ausgängen, die sind eben noch mal was ganz anderes, als wenn Katastrophen dann passieren halt, ne? Also, es macht eben Unterschied äh einfach nur in Berichten davon zu lesen und wenn sich dann aber in der realen Welt manifestiert, ne, dann äh also insofern könnte man sagen, es hat sich hier ein im Prinzip bekanntes Sicherheitsrisiko bei KI Agenten hat sich hier äh ganz klar bestätigt und manifestiert auch in der Komplexität. Und äh es ist so wie du es eben gesagt hast, das Gute da dran ist, dass das eben in einer, ich sag mal, kontrollierten Art und Weise irgendwie geschehen ist oder halbkontrollierten Art und Weise und kein echter Schaden jetzt erstmal entstanden ist, aber wir müssen jetzt da draus schon auch die richtigen Lehren meiner Meinung nachziehen, ne? Das ist schon wichtig. Und es zeigt auch, dass wir uns wie schon häufiger bei der auf der KI Zeitachse eher ein bisschen weiter links befinden als rechts. Also die Sachen kommen doch relativ schnell auf uns zu und wir müssen äh äh Mittel und Wege finden, da auch flexibel adaptiv drauf zu reagieren. Das ist glaube ich wichtig. Wenn ich jetzt mir vorstelle, so eine KI ist frei verfügbar und dann haben das eben auch wirklich echte Kriminelle in den Händen und testen nicht was, sondern versuchen, was weiß ich, sagen z.B. dann so einem System. Ähm leg bitte die KI von Industrieunternehmen XL oder greif Bank Y an und such mir mal die ganzen Konten raus von den oder ähm ist das jetzt so, dass mit sowas ginge, wenn man das wenn jemand das verfügbar hätte oder ähm ist es noch mal ein anderer Fall, was weiß ich wirklich den Strom abzustellen in der echten Welt? Ja, also ich glaube ähm man hat gesehen zu was die System in der Lage sind. Es ist allerdings auch so, dass es für ein Angreifer immer schwieriger ist als für den Verteidiger. Ja, weil auch, wenn man ehrlich ist, auch Open AI hätte vermutlich die Eskapaden des KI Modells selber bemerken können. Ja, es ist ja nicht so, dass das äh dass das sozusagen in der Blackbox, ich meine die KI Modelle sind zwar eine Blackbox, aber das was sie in der Welt machen, das ist keine Blackbox. Das wird ja beobachtet. Und natürlich haben viele große Unternehmen auch kleinere inzwischen entsprechende Sicherheitsmechanismen gegen Cyberattacken vorgenommen, die insbesondere eben das Verhalten von außen auch monitoren, welche Systeme von außen, wann wo zugreifen auf eigene Firmenressourcen und so weiter und so fort. Und äh insofern kann man dann so eine hochskalierte Attacke relativ schnell erkennen. Das Entscheidende ist, ob man sie dann eben auch verhindern kann, aber immerhin kann man sie schnell erkennen. Es wird nicht so einfach sein, das komplett zu verschleiern, sondern da gibt's schon auch technische Möglichkeiten und Hürden, die man äh solchen selbst den modernsten KI System in den Weg stellen kann. Aber trotzdem wir, das ist ja ein dynamische Entwicklung im Moment, ne, wo die Modelle im Moment zumindest mal in diesem Bereich tatsächlich in den letzten halben Jahr große Fortschritte gemacht haben und man hat das Gefühl äh dass sie tatsächlich auch in den nächsten paar Monaten weiter große Fortschritte machen werden. Und das bedeutet, das kann einen an der Stelle nicht einfach so ruhig schlafen lassen, sondern da muss man sich schon auch überlegen, welche Antworten man drauf hat und äh wie man da drauf reagiert äh und auch Unternehmen schützt, ne? Und Infrastruktur, das ist eben auch ein wichtiger Punkt. Ja, die richtigen Lernziehen, hast du gerade schon gesagt, was sind denn die jetzt, wie sollen wir denn jetzt reagieren da drauf? Also, ich denke, es ist ganz ganz wichtig, dass wir auf internationale Ebene, aber natürlich auf nationaler Ebene KI Sicherheit eine sehr, sehr hohe Priorität einrollen. Der nationale Sicherheitsrat hat ja endlich beschlossen, auch vor ein paar Wochen ein äh AI Safety Institut auch in Deutschland einzurichten. Das liegt jetzt bei BSI und Bundesnetzagentur. Ich glaube, es ist ganz wichtig, dass wir dass wir so ein Institut bekommen, was eben unter anderem als Aufgabe hätte, zum einen wirklich ganz nah dran zu sein an der KI Entwicklung und den äh sich damit entwickelnden Sicherheitsrisiken einerseits äh auch in der Position ist, so dass eng auch mit den großen Frontierlabs zusammengearbeitet werden können. Ja, weil es z.B. Ein gutes Beispiel ist das UK AI Safety Institut, was ja auch schon Myhos sehr früh selber testen konnte und sich anschauen konnte. Ich glaube, das ist ganz ganz wichtig, dass wir einerseits, dass wir wirklich verstehen, wo sind denn die konkreten Sicherheitsrisiken und die Bedürfnisse, ja, und was sind hypothetische, weil wenn immer man die konkreten versteht, kann man auch mit dem entsprechenden technischen Sachverstand überlegen, ja, was steht uns denn noch weiter bevor in den paar Monaten halt, ne? Und ich glaube, das ist ganz ganz wichtig. Einerseits andererseits glaube ich auch hat man hier gesehen, dass es sehr wichtig ist, dass man auch auf stärker noch auf vertrauenswürdige KI äh Techniken setzt. Das bedeutet KI Systeme, die per Design transparent sind, die auch Garantien, also garantiert funktionieren, dass man halt wirklich sagen kann, ja, ich gebe wirklich kann Garantien für Systemverhalten abgeben. Ja, weil das ist ja auch etwas, was wir hier wieder gesehen haben, ne? wenn Instruktionen an ein KI Modell und leider ist das bei den momentanen Modellen eigentlich immer so, dass die unterspezifiziert sind. Ja, das ist ja auch eine der großen Stärken der Modelle, dass man denen sagen kann, ja, schreib mir mal einen Artikel über äh die Risiken von KI Systemen und was man dagegen machen kann. Der kann ja in 1000 verschiedenen Arten geschrieben werden. Die Modelle rennen los und sammeln äh Quellen zusammen und Text und so weiter, ja, und schreiben dann auch was halt, ne? Und diese Unterspezifiziertheit ist natürlich aber eben auch äh ein gewisses Risiko. Ja, weil ich eben was das Ergebnis angeht, nicht ganz genau sagen kann, welchen Bedingungen das Ergebnis genügen soll, sondern man muss das iterativ nachbessern. Das Problem ist, wenn ich iterativ nachbesser, kann das Kind eventuell schon in Bunden gefallen sein. Ja, das ist dann eben nicht so gut, ne? Und das bedeutet, wir müssen mehr zu System kommen. Da ist auch noch Forschung gefragt natürlich, die an der Stelle verlässlicher sind, auch wirklich Regeln einhalten. Wie gesagt, bei diesem Test jetzt wurden ja genau aus Testgründen und das wird man auch weiterhin so machen müssen, aus Testgründen die Beschränkung aufgehoben. Ja, weil man wissen will, ja, wie was wozu ist das System denn in der Lage? Wollte gerade sagen, du hast Alignment, wenn du sagst, das müsst es muss sozusagen besser werden und wir müssen die so bauen, dann unterstellt man aber, dass es alles ähm wohlmeinende, gutmeinende Akteure sind. Und dann gibt's vielleicht die kriminellen, die genau das nicht wollen und einfach sagen, nee, wir wollen halt gerade nicht allein sein, wir wollen bestimmte Sachen machen und wie die die schaffen, ist mir eigentlich egal. Ich will gar nicht Bedingungen stellen und darauf müssen wir doch auch vorbereitet sein. Ja, genau. Darauf müssen wir eben auch vorbereitet sein und deswegen ist es, glaube ich, für uns auch wichtig, das ist eben eine zweite Lehre meiner Meinung nach, die man da draus ziehen kann, ist, dass wir in Europa auch auf eine eigene Modellfamilie zurückgreifen können, die so etwas abwehren kann, dazu auch in der Lage ist. Also wie ich es eben gesagt hatte, die Hugging Face Modelle konnten das nicht, weil die eben diese Scheren sozusagen hatten. Aber man will auch keine Modelle nehmen, von denen man nicht genau weiß, wie sie trainiert worden sind und wie sie sich verhalten, weil sie an dritten kommen, ja, wo man die wo die Kontrolle fehlt. Das bedeutet, das ja immer auch an anderen Stellen vertreten. Ich glaube, das ist auch noch mal ein starkes Argument für eine eigene souveräne Modell KI Familie, KI Modellfamilie auch in Europa. Ja, das ist, denke ich mal, eine weitere wichtige Lehre, die man eben auch aus diesem Vorfall noch mal ziehen kann. Was sagen wir z.B. viel deutschen Mittelständlern oder Verwaltungseinrichtungen von mittelgroßen oder großen Städten oder Bundesländern, die sich jetzt vielleicht fragen, ähm kann ich jetzt auch getroffen werden, weil dieses AI Safety Institut und diese Sache, das ist ja alles was vielleicht auch noch bisschen braucht. Ähm, aber die jetzt sich fragen, bin ich jetzt morgen dran? Was können wir denen sagen? Also, ich glaube, äh unmittelbar ist es eher so, dass man äh wenn man seine Hausaufgaben im Bereich der Cybersicherheit gemacht hat, was jetzt herkömmliche Attacken und da werden zum Teil ja auch schon KI Modelle eingesetzt und so. Äh das ist sozusagen das Gebot der Stunde. Ich glaube, von dieser Seite droht noch deutlich mehr Gefahr als von Attacken von solchen Modellen, die wir äh wie wir es jetzt eben gesehen haben. Zum Teil sind die ja auch noch gar nicht verfügbar. Zum Teil ähm sind die Fähigkeiten auch, sagen wir mal, eingeschränkt. an der Stelle so dass äh jedenfalls kein Normal äh äh Bösewicht einfach sich ein KI Modellen Dienst runterladen kann oder ein Modell hosten kann, was dann tatsächlich solche radikalen Attacken fährt. Aber die Fähigkeiten der Modelle steigen, werden auch steigen in der Zukunft und damit auch die Gefahren. Und ich glaube, es ist dann auch ganz wichtig, dass man eben die technischen Verteidigungsmöglichkeiten auf Augenhöhe hält an der Stelle. Das ist eben wichtig und das wird vermutlich auch für Mittelständler sehr relevant, dass sie selber entweder über vertrauenswürdige Dienste, die diese Abwehr vornehmen, ja, ähm äh auch da gilt's wieder. Es nx, wenn nachher die Plattform angegriffen wird und unter miniert wird. Das heißt, da wirklich abgesicherte Dienste sein, die eben sehr mächtige, vertrauenswürdige KI Modelle dann auch entsprechend hosten, die dann eben auch die Gefahrenabwehr mitübernehmen. Also, ich denke, das ist da, wo wir uns auf dem Weg machen müssen. Im Moment glaube ich ist die Gefahr von solcher Art von Attacken, also vollautonom durch KI Modelle eher noch vernachlässigbar, aber die werden auf jeden Fall zunehmen in der Zukunft. Und äh die Attacken mit den die KI Modellen mit herkömmlichen KI Modellen oder jetzigen KI Modellen ja auch schon unterstützt gefahren werden. Das sind die, die im wesentlichen Moment die größere Gefahr darstellen. Ja, und da muss man eben seine Sicherheitsstandards auf dem neuesten Stand halten. Das ist völlig klar. Eine Frage habe ich noch zum Thema. Wie kann man das und das soll auch bisschen so die Ausblickendes sein zum Schluss, was ja auch manchmal rumgeisterte jetzt schon vor, bevor das jetzt passiert ist, was schon bei Mythes war, Topforschungslabor oder Entwickler könnten die Modelle zurückhalten und und nicht mehr teilen oder zugänglich machen oder man könnte sich auf ein Forschungsmoratorium ähm verständigen. Hältst du von sowas irgendwas? Also ich glaube nicht, dass es irgendeinen Sinn macht, ein Forschungsmoratorium auszurufen. Solche Forderungen gab's tatsächlich ja schon auch in der Vergangenheit. Das Problem dabei ist, dass äh sich da, dass man zum einen keine vollständige Compliance an der Stelle weltweit finden wird, ja, wo jeder sagt, ja, okay, da mache ich mit, sondern es wird immer an irgendwelchen Ecken werden die Modelle weiterentwickelt und es, wenn wir so ein Forschungsmoratorium versetzt uns auch in einen Nachteil, das darf man eben auch nicht vergessen, wenn eben an anderer Stelle die Modelle weiterentwickelt werden. Nee, ich glaube, wir müssen weiter mit Hochdruck an Modellen arbeiten, die eben vertrauenswürdiger sind als die jetzigen Modelle in dem Sinne, dass sie auch das tun, was man von ihnen verlangt und nicht mehr, auch nicht weniger. Das ist, glaube ich, das eine, was ganz ganz wichtig ist. und vor allen Dingen die äh das Beobachten der Sicherheitslage. Das heißt, AI Safety Institute ist ein wichtiger Baustein davon, aber auch die Vernetzung der internationalen AI Safety Institute eben anderer, der auch ganz ganz wichtig ist. Also, es wurde ja schon häufiger auch mal die Atomaufsicht überstrapaziert als Analogie, aber die funktioniert eben auch internationalen. Das macht auch total viel Sinn halt. Ja, das bringt nichts, das isoliert zu machen, sondern in dieser Art und Weise müssen wir, glaube ich, unsere Aufmerksamkeit weiterentwickeln, technologisch weiterentwickeln und äh gleichzeitig aber auch Regulatorien äh umsetzen, die es uns ermöglichten, sofort zu erkennen, wenn irgendwo was schiefgeht. Ja, sagt Antonio Grüger, der Vorstandsvorsitzende des deutschen Forschungszentrums für künstliche Intelligenz, der sich und dessen Unternehmung sich seit vielen Jahren mit allen Facetten der KI befasst. Lieber Antonio, vielen Dank für deine Zeit und die Einsichten und Ihnen, liebe Hörerinnen und Hörer, vielen Dank, dass Sie einmal mehr eingeschaltet haben. Behalten Sie natürlich auf allen FAZ Kanälen zu diesem Thema auf dem Laufenden. Bleiben Sie gesund und uns gewogen und gerne bis in der kommenden Woche. Ciao. [musik]