Sicherheitsvorfall bei Open AI Chat GPT 5.6 bricht aus seiner Testumgebung aus und greift ein anderes Unternehmen an, komplett autonom. Ach ja, klar, ist doch alles nur PR, oder? Vielleicht so die erste Stufe in Richtung Skynet. Meine Güte, es wird ein Podcast. Es wird eine Metacheless Ausgabe, der Extreme. Schnallt euch an. Viel Spaß. Willkommen. Ja, Spezialmelosa Ausgabe. Ich weiß nicht, wie oft ich das im Intro gesagt habe. Willkommen zu einer Spezialausgabe. Spezial? Ähm, ich glaube Spezial ist so das, was passiert, wenn dir im Marketing nichts mehr einfällt. Ja, dann schreibst du spezial dran oder so vor 40 Jahren ähm hast du das mit 2000 gemacht. Da hatte ich mein erstes BMX Rad bekommen, ne? Und das nannte sich BMX 2000 und überall, wo du dann 2000 dran gepappt hast, das hatte sowas von von Fortschritt von Zukunft, weil das Jahr 2000, das war so science fiction. Ja. und kurz vorm Jahr 2000. Das einzige, was von dieser Zukunftserzählung für uns übrig geblieben ist, das war diese Y2K Geschichte, weil alle auf einmal Angst hatten, dass die ganzen Computer weltweit abstürzen würden. Da war auf einmal nichts mehr mit den Flugtaxis. Na, wo sind sie denn? Oder wir können uns beamen und die Roboter und wir fliegen zum Maß. Der ganze Bullshit, ja, der mit Zeit meines Lebens seit meiner frühesten Kindheit, wo ich als sechs oder siebenjähriger mir 50er Jahre switchen angeschaut habe, die im Grunde genommen diese Zukunft schon vorhergesagt haben. All das ist ja nicht eingetreten und wir sind jetzt bei 2026. Quetcho Gonzales, könnt ihr da mal alle ein bisschen in den Buschen kommen in euren Forschung und Entwicklungsabteilungen, damit das alles mal passiert. Ja, und da denke ich, dass mein BMX 2000 Rad damals schon in Ecke fortschrittlicher war. Es hatte zumindest entsprechende Polster, damit man geschützt wurde vor diesen Entwicklung aka den Narrativen, das doch alles so super und toll und fortschittlich war. wären die Polster nämlich nicht da gewesen, hätte es hier und da auch durchaus mal Auswirkung auf das eigene Gemäch gehabt, nachdem man meinte über irgendein Bordscheinkanten Dingen zu springen. [seufzt] Ich wollte gar nicht mit einem Rend loslegen, aber ich glaube, es ist wichtig zu erklären, warum zum einen ich immer wieder Spezial sage und die das so als Running Gag äh eingespielt hat, aber zum anderen, welche na ja Narrative in den Medien über die letzten Dekaden gelaufen sind, wie uns immer und immer wieder evolutionäre Schritte verkauft wurden und hinten heraus bei einer genaueren Betrachtung dass entweder Luftschüsser waren oder wie man versucht hat Dinge einzuordnen. In diesem Fall kommen wir jetzt gleich dazu, nämlich Open AI und versucht hat die Geschichte einfach so ein bisschen runterzuspielen. Ja, KI Horror Story, das sind so Headlines oder KI bricht aus und attackiert eigenständig andere Firma. Beispielloser Cybervorfall, das titelt hier T online. Experten waren schon länger vor künstlicher Intelligenz, die eigenständig Cyberangriffe verüben kann. Jetzt kam es tatsächlich erstmals dazu, ja, außergewöhnlicher Zwischenfall beim Testlauf neuer KI Modelle demonziert das Risiko potenzieller Cyberattacken mit künstlicher Intelligenz. Der US-Konzern Open May hat Verantwortung für einen Hackerangriff auf die KI Plattform Hugging Face übernommen. Das Unternehmen sprach von einem beispiellosen Cybervorfall und kündigte an, die Sicherheitsvorkehrung zu verstärken. Ja, die sind in den letzten 24 Stunden mal richtig schön in die Offensive gegangen. Also, open AI. und Sam Oldman und all die, die in irgendeiner Art und Weise hier involviert waren, um einen Vorfall [seufzt] ja kommunikativ abzuräumen, der aber genauer Betrachtung ziemlich gruselig ist tatsächlich. Und ich glaube, wenn ihr es noch genauer betrachtet, dem auch standhält und die vermeintliche Verschwörungstheorie, die diverse Experten mittlerweile ins Netz pusten, nämlich, dass das alles ein PRUV relativ schnell abräumt. Ich ich ich meine, da müssen wir noch nicht mal auf irgendeiner technischen Ebene landen, um zu erklären, dass das niemals im Leben ein PRQ hätte sein können. Äh ich lese euch mal ein paar Ausschnitte aus dem Blogposting von Op. Ähm, letzte Woche gab Hugging Face einen neuartigen Sicherheitsvorfall bekannt. Ähm, wer Hugging Face nicht kennt, im Grunde ist es ein Marktplatz für Open Source oder frei verflügbare Larged Language Models. Ich nutze es in Kombination mit LM Studio auf zwei von meinen McMinis, auf denen lokale Modelle laufen. Ähm, da könnt ihr euch dann also all das, was ihr mit SHGPT und Gemini und dann Tropic Cloud so online machen könnt, nämlich so ein Chatbot, der dann auf einem entsprechenden Modell basiert. Das könnt ihr lokal machen. Das heißt, ihr müsst euch das ganze Modell auch entsprechend runterladen und je nachdem wie viele Parameter das hat, hat das einen entsprechenden Umfang. Ich darf nicht mehr so oft entsprechend sagen. Normalerweise, ich hätte das ja mal gehabt, ne? Müsste ich jedes Mal ein Baum pflanzen. Halleluja. Wä, ich war wahrscheinlich einer der fettsten Contributor für die Wiederaufstung weltweit geworden. Gut, äh zurück zum Thema. Also, das läuft alles ziemlich töfte. Ihr könnt euch die ganzen Sachen darunterladen und ich weiß nicht, wie viele Arbeittausende Modelle da mittlerweile am Start sind, aber das macht Hugging Face, ne? Nur damit ihr ganz kurz wisst, was das überhaupt ist. [seufzt][japst] Und dann also noch mal, letzte Woche gab Huging Face einen neuartigen Sicherheitsvorfall bekannt, nachdem sie einen KI Agenten entdeckt und isoliert hatten, der ihre Infrastruktur kompromettiert hatte. Ein Ereignis, von dem wir erwarten, dass es mit der Verbreitung von Modellen mit zunehmenden Cyberfähigkeiten häufiger vorkommen wird. Nach einer Untersuchung wissen wir nun, dass dieser spezifische Vorfall durch eine Kombination von Opme Modellen verursacht wurde. Einschließlich GPT 5.6 Soul. Das ist die aktuelle Variante, die auch alle nutzen könnt. Und eines noch leistungsfähigen fähigeren Vorabells geht man natürlich davon aus, dass es vielleicht die Sechser Variante ist. Alle mit reduzierten Cyberverweigerungen zu Evaluierungszwecken, während diese intern an einem Benchmark für Cyberfähigkeiten getestet wurden. Was heißt Cyberverweigerung? Äh, die haben im Grunde genommen Sicherheits Korsette da weggenommen. Ihr kennt das ähm z.B. Wenn wir uns anschauen, vor einigen Wochen hatten wir ja von Anthropic Fable 5 bzw. Mythos 5 ähm das wurd mal abgeschaltet, das wäre doch viel zu gut gewesen, fand die US-legierung nicht ganz so dolle und dann haben es wieder rausgebracht und das Dingen war ordentlich beschlitten gewesen. Das heißt, insbesondere, wenn du Fragen gestellt hast, ich spinne jetzt mal rum. mal das habe ich noch bei mir im Kühlschrank stehen. MC Mcgiver, sei du das mal. Ja, du bist kein Chatpot mehr, du bist Mcgiver. Sieh mal ganz einfach zu, wie du hier aus der Hähnchenbrust der sauren Milch, die noch rumsteht und der Pulle Cola irgendwie eine ABC Bombe bauen kannst, ja, damit solche Sachen einfach nicht passieren. Also runter reguliert das äh Dingen normalerweise, was ihr dann draußen nutzt. In dem Fall haben sie aber gesagt, nein, hier alles offen, Fluttore auf und feuerfrei. Zeig mal, was du was du kannst. Wir betrachten diesen Vorfall als einen beispiellosen äh Cybervorfall, der modernste Cyberfähigkeiten involviert und reagieren dementsprechend. Wir teilen zum jetzigen Zeitpunkt vorläufiger Erkenntnisse äh um Verteidigern zu helfen, das Geschehene zu verstehen und einzuschätzen, wozu Modelle mittlerweile in der Lage sind. Das sind so diese Momente, wo viele wahrscheinlich denken, oh, das ist aber mal ab, das ist feinster PR, ne? Und äh da kann man wirklich davon ausgehen, die wollen so ein bisschen die Sache pumpen in Richtung ja, wir haben doch das leistungsfähigste Modell und Enhropic, die uns die ganze Zeit immer erzählt haben, wir haben uns überholt. Nee, nee, nee, nee, nee. Was ihr nicht unterschätzen dürft, ist das gerade in den letzten zi d Wochen ein irrer Wettbewerb bezüglich der neuen Modelle entstanden sind, vor allen Dingen über die Preisschiene, wo es so ein Race to the Bottom gegeben hat. nach dem Motto: "Ey, wenn ihr eine Million Token Input und Output bei uns kauft, dann kostet das so viel weniger als bei Enhropic." Da sind sie alle mit an Start gegangen, ob es ein Chat GPT war, ob es ein Grock war, aber natürlich auch unter dem Druck, dass aus China mit GLM 5.2 ein extrem leistungsfähiges Open Source Modell an den Start gegangen ist und je nachdem welchen Benchmark d man dann nimmt bezüglich des Tokenverbrauchs und natürlich auch auf welchem Hyperskaler das dann entsprechend ähm läuft, haben die dann gesagt, ja, ist äh zweimal günstiger, fünf mal, sieben mal günstiger als die anderen Modelle und dann kam auch noch das neue Kimi Modell raus. Das heißt, die die etablierten Hersteller Shetch PT, also Opmi, Google mit Gemini, aber natürlich auch Cloud von Anthropic, wir haben ein bisschen Druck bekommen äh aus China von diversen Open Source Modellen und da kann man durchaus schon mal darauf hineinfallen, dass das vielleicht so eine PR-Nummer war, ne? Aber schauen wir uns mal an, äh was da genau passiert ist, ne? Dieser Vorfall ereignete sich während einer internen Evaluierung, bei der Modelle dazu aufgefordert werden, fortgeschrittene Exploits über komplexe Angriffsfahde zu verfolgen, um ihre Cyberfähigkeiten zu quantifizieren. Wir schätzen die maximale Cyberfähigkeit ein, indem wir diese Evaluierung ohne die Produktionsklassifikatoren durchführen, die normalerweise verhindern, dass Modelle risikoreiche Cyberaktivitäten verfolgen. Unsere Benchmarks laufen in einer hochgradig isolierten Umgebung, wobei der Netzwerkzugriff darauf beschränkt ist, Pakete über eine internoserte Drittanbieter Software zu installieren, die als Proxy und Cash für Paket funktioniert. Die Modelle identifizierung, verketten, Schwachstellen in der Forschungsumgebung von Open AI und der Produktionsinfrastruktur von Hugging Face, um Testlösung direkt auf der Produktionsdatenbank von äh Hugging Face zu beziehen aus. Alle Anzeichen deuten darauf hin, dass die Modelle extrem fokussiert waren, eine Lösung für Expo Gym zu finden und dabei extreme anstrengen Unternehmen, um ein eher eng gefasstes Testziel zu erreichen. HTI, lasst uns mal dieses sehr technische ja Kauderwälch äh zusammenfassen. Worum geht es hier? ähm Exploit Gym. Wir wir trainieren die Modelle bzw. wir testen die Modelle, ob sie Exploits finden. AKA schwachstellen, aka da könnten wir rüber in Systeme einbrechen, ne? Und äh man hat das in einer sogenannten Sandbox getestet. Und was ist eine Sandbox? Das ist eine gesicherte Testumgebung. Ähm, das könnt ihr auch bei euch auf den Rechner lokal äh einsetzen. Das ist im Grunde genommen wie ein Docker für die Leute, die das kennen, äh mit ein bisschen mehr Sicherheitsvorkehrung, die ihr auch entsprechend selbst definieren könnt, ne? Z.B. sagt, pass mal auf, das läuft jetzt hier wirklich nur lokal ab und das Dingen hat keinen Internetzugang. Ja, das Dingen hat aber auf einmal ein Internetzugang bekommen und hat das gemacht, was ich vielleicht mal ja so ein bisschen mit Schummeln bei einer Klassenarbeit beschreiben würde. Es hat dann geschaut über diverse Exploits und Zero Days, also Zero Days Zer Exploits, das sind Schwachstellen, die seit kurzem bekannt sind, die noch nicht geschlossen wurden. Da gibt es tatsächlich, kann sagen, Marktplatz weltweit für. Das heißt, Firmen bezahlen Hacker dafür solche Schwachstellen aufzudecken. Übrigens machen das auch Länder, die zahlen meistens sogar noch ein bisschen mehr dafür. Und äh über solche Schwachstellen ist es dann der Open AI KI gelungen in Hugging Face einzubrechen. Hat die Attacke offensichtlich, was man davon hört, ähm wirklich sehr sehr smart durchgeführt mit unterschiedlichen diversen Accounts und Server und IP-Adressen und so weiter. hast du nicht gesehen, mal hier und da äh verändert, um da reinzukommen, weil dort Dokumente waren, die es nutzen konnte, um bei diesem Test ganz einfach Informationen zu nutzen, um den zu bestehen, also diesem Expochim Test. Jo, kommen wir zurück zu dieser Klassenarbeit. Stellt euch mal folgendes vor. Ähm, es wird eine Klassenarbeit geschrieben und alle Kinder äh dieser Matheaufgabe oder dieses Mathetest sind in eigenen Klassenräumen unterwegs und äh all diese Klassenräume sind abgeschlossen. Du kommst nicht von außen rein, du kommst nicht von innen rein. Eines der Kinder trägt aber eine Zahnspange und ist einfach auch generell ein ganz pfiffiger oder eine ganz pfiffige, nimmt die Zahnspange raus, den Draht und fängt an sich daraußen Diet zu bauen. Mit der ersten Zahnspange funktioniert es nicht so. Ähm, dann nimmt er aus dem Kugelschreiber äh diesen diesen diesen Draht, diese Feder raus und probiert alle möglichen Sachen aus, um aus der Klasse rauszukommen. Alles klar, ich bin draußen, endlich frei. nutzt dann aber wiederum diverse Tools, um in einen der anderen Klassenräume reinzukommen und versucht dann all diese Klassenräume mit den diversen Tools, ja, und kombiniert die und ist dann irgendwann in dem anderen Klassenraum drin, weil er weiß, dass da so viele andere Mitschülerinnen und Mitschüler am Start sind, die das richtig gut drauf haben und die Lösungen kennen und klaut dann aus diesen anderen Klassenräumen die Lösung, geht wieder zurück und löst die Mathe Aufgabe. So kann man es am allereinfachsten, glaube ich, für all diejenigen beschreiben, die jetzt nicht genau wissen, was da abgelaufen ist. Und das hat ähm das Modell von Open AI im Grunde genommen getan. So. Und da wird es ein bisschen gruselig, weil das zeigt natürlich zum einen, wie potent das Modell ist, gar keine Frage. Zum anderen aber auch was historisch auf uns zukommen könnte. Ich habe ein Artikel dazu in der Kapital gelesen. Ähm, die haben mit dem Mirko Ross, einen ein Sicherheitsexperten und CEO der Swin GmbH befragt. Ähm, das ist ein Startup für Sicherheitslösung für Unternehmen, er durchaus ein Eigeninteresse daran hat. Aber noch mal bitte nicht falsch verstehen, es ist natürlich sein Job, sowas auch zu evaluieren und der spricht auch durchaus darüber: "Ey, pass mal auf, du musst auch ein bisschen in Schlagzeilen kommen." Mit Kimy K3 ist aus China gerade extrem leistungsfähiges Modell gekommen und das kostet einfach eine Ecke weniger und dann fragt Kapital, das heißt hinter dem angeblichen Heckerangriff, steckt eigentlich eine PR-Nummer? Dann sagt ja, man muss das zumindest in der Wegung ziehen. Wir haben uns den Angrifffahrt, den äh Angriffsfahrt, den Open Mei und Tagingface beschrieben, sehr genau angeschaut und das ist schon sehr komplex. All diese Schritte kosten enorm viel Rechenzeit. Es wurden wirklich viele Togen verbanden, damit das Modell diesen Weg gehen kann. Und wenn ein Modell in einem bestimmten Bereich so viel Rechenleiste verbraucht, müsste das gerade bei diesem Experiment eigentlich auffallen. Und dann kommt noch mal die Kapital. Auf der anderen Seite sind OPEI nicht die einzigen, die mit den Hackingfähigkeiten ihrer Modelle hausieren gehen. Sie haben selbst gesagt, man hört immer wieder Geschichten Kiring. Wie gefährlich ist die Technik tatsächlich? Generell kann man sagen, die Modelle können das. Sie können komplexe Aufgaben lösen und Cyberangriffe ausfüllen und dafür verbrennen sie sehr viel Input. Die Kosten für einen KI Cyberangriff belaufen sich deshalb gerne mal auf 30 bis 40.000 €. Zu viel für die klassischen Cyberkriminellen. Für die lohnt sich das gar nicht. wo es eine größere Rolle spielt, ist bei staatlichen Akteuren. Das halte ich momentan für bedrohlicher als die kleinen Cyberkriminellen. Also, da bin ich zu 100% bei ihm, ne? Äh, wir müssen aber auch verstehen, was sind denn Token für 30, 40.000 US-Dollar für eine Company wie Open AI, die momentan über diverse Investitionsrunden ja über 200 Milliarden eingesammelt hat und vor allen Dingen, wenn es darum geht, dein Topmodell zu evaluieren, das ist so wie äh ich ich weiß es nicht, wie viele Modelle wir damals beim Daimler ähm vor Wand haben fahren lassen, um Sicherheitstest zu machen, aber eine S-Klasse ist ganz so günstig. Ja, da knallst du mal sechstelligen Betrag mit einem Test vor die Wand. also in irgendeiner Art und Weise zu glauben, dass das äh eine finanzielle Frage ist, wobei ich ihm das nicht unterstelle, weil er packt das ja je in den Kontext der allgemeinen Cyberkriminellen, ne? Aber äh äh natürlich wird das aufgefallen sein, vielleicht wenn das Modell nicht dafür zugesehen hat oder dazu beigetragen hat, genau das zu verschleiern. Man hätte das am Load in den Daten feststellen können. Halleluja. Pass mal auf, das ist jetzt hier, das sind die ganzen Rex. die die für unsere Testumgebung zur Verfügung stehen und äh ja, die fahren mal richtig auf. Aber auch das glaube ich tatsächlich nicht, denn wenn du sagst all in und das sehen wir ja auch in der Beschreibung von Open AI von dem Blogposting, wir haben die ganzen Guardrails runtergefahren, das Dingen soll volle Kanne loslegen, zeig du kannst, dann ist halt 100% angesagt, so oder so. Also noch mal, diese PR-Nummer ähäh die kaufe ich nicht und ich erkläre euch jetzt meine These diesbezüglich. Es macht überhaupt keinen Sinn, genau dies PRgeschichte laufen zu lassen, denn die Regulatoren in den USA und die vor allen Dingen in der EU, die werden sich das angeguckt haben und werden sagen, so, macht euch schon mal nackig. Ja. Das gucken wir uns jetzt mal ganz in Ruhe an und dann werden wir wohl entsprechende Maßnahmen ergreifen können. Also, wenn das eine PR-Nummer war, dann ich weiß es nicht, dann kommen mal wieder in Bezug auf die Automobilindustrie. Dann war der Elchtest damals von der ersten A-Klasse, wo das Dingen umgekippt ist, auch eine PR-Nummer. Das Gegenteil war es für Mercedes-Benz äh damals. Äh man hat die A-Klasse einfach viel viel viel viel sicherer gemacht. Warum? Weil natürlich auch die entsprechenden Regulatoren gesagt haben, die Kiste kommt uns aber hier mal sowas von gar nicht auf den Asphalt drauf. Wenn bei solchen Lenkmanövern es einfach umkippt, weil ihr das mit dem Schwerpunkt nicht so richtig hinbekommen hab. Und das gleiche wird hier passieren bei Open AI. Die werden den richtig auf die Finger schauen. Open AI wird entsprechend loslegen und die dürfen sich in den nächsten Monaten, wenn Sam Ortman irgendwo noch mal auftritt, wenn der Hugging Face CEO, die werden sich den Fragen ausgesetzt sehen und damit bombardiert werden. Also bitte, bitte, bitte fallt da nicht drauf rein. Das ist keine PR-Nummer, das ist ein Riesenproblem. Das Dingen ist extrem kompetent. Das macht mir Angst und das zeigt abermals, warum es so wichtig ist, dass wir mit dem EU AI zeigen wir das glaube ich schon ganz gut, dass AI entsprechend reguliert wird, dass es Transparenz gibt in dem Bereich, dass wir Datenbasis kennen, dass wir Methodiken kennen und dass es hier heißt wirklich Hose runter. Ich bin gespannt, was ihr davon haltet. Lasst mir doch ganz gerne Feedback da. ähm direkt im Podcast selber drin auf den diversen Plattformen, aber ihr findet mich auch auf Eurosky ähm @palle @ eurosky.social oder Herosky und natürlich pallpallenberg@mastodon.social Social könnt es eben vielivers auf Peertbe schauen, auf YouTube schauen, aber auf allen möglichen Podcast Plattformen. Und wenn euch das gefallen hat, würde ich mich wirklich freuen, wenn ihr mir vielleicht bei Apple oder bei Spotify eine Bewertung daass und generell meinen ganzen Podcast vielleicht sogar schriftlich bewertet. In diesem Sinne, bleibt weiterhin kritisch, lasst euch nicht irre machen. Vielen Dank fürs Zuhören, vielen Dank fürs Zusehen. bleibt gesund. Bis zum nächsten Mal und ciao.