Open AI K hat selbständig ein Unternehmen gehackt. Jetzt werden die ersten sagen: "Ja, okay, aber das hast du doch schon vor wenigen Tagen berichtet bzw. das ist ja wirklich durch sämtliche Nachrichten gegangen." Nun, es gibt da ein kleines Update zu und das kommt von Reuters. Äh denn im Gegensatz zu dem, was Open AI erzählt hat, hat sich das Dingen wirklich auf einen, nennen wir es mal tagelangen Hacking Streifzug begeben und oben er das erst bemerkt, als die Bedrohung bereits eingedämmt war und nach Reuters das FPI alarmiert worden war. [musik] Eine kleine Sonderausgabe von Metachis heute wieder mal viel Spaß. [musik] Willkommen. [musik] Mensch hatte was ganz anderes Frau heute. Sonntag 26. Juli. [musik] In diesen letzten Tagen kommen die Einschläge bezüglich spannender Themen. Ja, im Ja, Minuten oder Stundentag ist ein bisschen Takt ist ein bisschen übertrieben, aber es hat sich ein bisschen was aufgestaut. Ich habe z.B. auf meinem YouTube-Kanal sehr sehr ausführlich über Teslas katastrophale Quartalsbilanz berichtet. eine Firma, die mittlerweile ja eine Profitmarge von 1,4% im letzten Quartal announced hat. Ähm, damit liegen die 1% unter, Achtung, haltet euch fest, Aldi UK in 2024, ein Discounter, die wirklich Minimalmargen haben und das ist der Automobilhersteller, der so viel wert ist wie die 34 darauf folgenden zusammen. Der ganze Bullshit dieses Kartenhauses, den das Master in den letzten Jahren gebaut hat, das wackelt gerade sehr, sehr stark und da ist auch wirklich überhaupt keine Besserung in sich. Und ich verspreche euch sowohl auf meinem Blog wie auch in dem Newsletter metach.de abonniert es. Dienstag oder Mittwoch haue ich es raus. Der Text steht schon, ich muss den Podcast noch aufnehmen, aber ich habe mir gedacht, dass diese Meldung, obwohl die jetzt auch schon wieder anderthalb Tage alt ist, also in dem Moment, ich es aufnehme, die ist einfach wichtiger, denn es zeigt, wie diese Blase tickt, was diese Blase versteht, was sie nicht versteht, was sie unter den Teppich kehren möchte, warum sie die vermeintlich sehr, sehr progressive und transparente Kommunikation Wege gewählt hat, aber letztendlich wir hier Entwicklungen erleben, ja, die wir zum Teil so wohl nicht vorhersehen können. Denn wenn Open Ei nicht versteht, was seine eigenen Modelle machen, die ja von Open May in Corsette gestülbt werden, innerhalb deren Rahmens oder deren Regeln sie operieren sollen, dann haben wir ein Problem. Dann haben wir ein riesengroßes Problem. Und all die Menschen da draußen, die in den letzten zwei d Tagen erzählt haben, ah, das ist eine PR-Nummer und das sind nicht gesehen. Ich glaube, das habe ich ja schon in meinem letzten äh meinem letzten Podcast so versucht so ein bisschen abzuräumen. Das ist keine PR-Nummer. Den fällt die Kiste richtig auf die Füße. Und jetzt stellt euch mal vor, [gelächter] die sind ja in der PreIPO Phase, ne? Die möchten ja unbedingt gerne an die Börse. Überleg mal, die hätten jetzt schon Datum gehabt. [gelächter] Wir gehen wir gehen kommende Woche an die Börse. Ja, mein lieber ja Gesangsverein, das hätte ja gerappelt. [gelächter] [japst] Ach, es ist alles so ein Wahnsinn. Übrigens, ich könnte in einer gewissen Art und Weise auch gleich noch anbringen, dass am gestrigen Samstag, dem 25. Juli Chatchi PT mal ebenso für etwa ein z Stunden down war weltweit. Ja, richtig gehört. Aber äh dann springen wir relativ schnell in den Kaninchenbau von irgendwelchen Verschwörungstheorien und versuchen Punkte miteinander zu verknüpfen, die miteinander wahrscheinlich nichts zu tun haben. Ähm, aber was ist überhaupt passiert? Muss ich euch das überhaupt noch erklären? Wahrscheinlich habt ihr das alle mitbekommen. Also ähm Open AI hat äh Benchmark laufen lassen ähm wie gut diese Modelle funktionieren und das lief in der Sandbox, die nicht mit dem Internet verbunden ist und das Ding hat es geschafft aus dieser isolierten Testumgebung in Anführungsstrichen auszubrechen. Ist dann rüber nach Hugging Face gegangen. Ingface, die größte Plattform für KI Modelle, wo man sich alle möglichen runterladen kann, die man auch selber nutzen kann. dann lokal, ich habe diverse bei mir laufen und ähm hat sich dann dort ja Information, Dokumente besorgt, um letztendlich die Aufgabe, die Open dem Modell gestellt hat, zu lösen. Ich habe das vor einigen Tagen so beschrieben, dass stellt euch vor, ihr schreibt eine Klassenarbeit, die ganze Klasse sitzt oder die ganzen Mitschülerin, Mitschüler sitzen nicht in dem einen Klassenraum zusammen, sondern jeder in der einzelnen Klasse und da sind die Türen abgeschlossen und einer nimmt den Draht aus der Zahnspange raus und baut sich daraußen Dietrich, bricht damit aus dem eigenen Klassenraum aus, bricht in einen anderen Klassenraum ein, um dann dort von dem Mitschüler entsprechend die Resultate dieser Mathematikarbeit oder hast du nicht gesehen äh abzulesen, zu spicken, ne? Ich ich ich glaube, das bringt es für all Menschen, die nicht genau wissen, was da los ist, am besten auf Punkt, weil letztendlich ist auch eine Mathematikarbeit ein Benchmark. Ja, ein Benchmark für all das, was ich, was mein Human Model zwischen meinen Ohren in den letzten Jahren gelernt hat über Human Learning. [gelächter] Aber ja, ähm spannend ist ähm äh wie früh Hugging Face mitbekommen hat, was da los war und wie spät Opi das nicht mitbekommen hat. Also der Test, der soll laut der Quellen von Reuters und die haben zwei Quellen und von daher Feuerfrei und es ist Reuters und da vertraue ich den auch einfach wirklich ein super Job machen. Ähm der Test begann am 9. Juli. Äh am 11. Juli haben die bei Hugging Face festgestellt, Freunde, das stimmt was nicht. Und haben auch gemerkt, dass die ganze Geschichte zwei Tage lang andauerte bis zum 13. Juli. Es dauerte aber mehrere weitere Tage, bis Open Mayisierte, dass sein Agent hinter dem Heck steckte und die beiden Unternehmen überhaupt miteinander kommunizierten. Das sagt zumindest Thomas Wolf, der Mitbegründer von Hugging Face. Und das ist das Backup von Reuters wieder, drei mit der Untersuchung vertraut Person [gelächter] und dann fingen die erstmal an so um den 20. Juli herum miteinander zu reden. Am 9. Juli gestartet. Am 20. Juli fing die an miteinander zu quatschen. 11 Tage drehte die Nummer mehr oder weniger frei. Und ich sage das wirklich so. Einige fingen schon wieder an. Oh ja, das ist doch keine Sky Geschichte. Das Ding hat genau das gemacht, was es machen sollte. Bullshit. Bullshit. Wenn du sagst, es hat genau das gemacht, was es machen sollte in Form von tue alles, um die Aufgabe zu lösen, bin ich bei dir. Aber niemand hat diesem Modell gesagt, breche aus unserer kontrollierten Testumgebung, aus unserer isolierten Testumgebung aus. Hacke eine andere Company, weil dort findest du die Lösung für die Aufgabe und kommt zurück und macht das alles so, damit wir das nicht mitbekommen. Bullshit. Und tatsächlich waren wieder einige Experten in den Medien unterwegs, die genau das behauptet haben. Es hat ja all das gemacht, was es machen sollte. Es ist Quatsch. Open AI wusste nicht, was das Dingen gemacht hat. Übrigens auch Hugging Face ähm erklärte erstmal so ein bisschen Richtung ey alles schön und gut, was ihr da bei Reuters macht. äh die haben die mit diesem Bericht konfrontiert. Äh, aber eine Unternehmenssprecherin hat gesagt, ah, da gibt es mehrere Ungenauigkeiten, aber die antworteten nicht auf die Frage, diese näher zu beschreiben. Das FBI, was ich am Anfang schon erwähnt habe, das lehnte bisher jede Stellungnahme zu dem Vorfall ab, was in einer gewissen Art und Weise natürlich auch sehr, sehr spannend ist, denn wir wissen ja, wie nah Sam Oldman an der Trumpadministration dran hängt. Ich weiß nicht, wie das finanziell gesehen aussieht, aber wenn wir uns Project Stargate auch anschauen, die Investitionen die getätigt werden, wie ein Oracle mit drin hängt, wie stark ein Oracle an der Trump Administration dran hängt, weil ein Oracle ist finanziell, ein Oracle hat finanziell alles alle Ships auf eine Karte gesetzt bzw. auf eine Zahl in ihrem persönlichen Roulet und das ist Open AI. Und wenn Omi vor die Wand fährt, fährt ein Oracle vor die Wand. Und ein Oracle dürfte bezüglich seiner Position nicht nur in den US-Inrastrukturen und zum Teil kritischen Infrastrukturen, da müsste ein Baout stattfinden. Die dürften tatsächlich so nicht pleite gehen. Also noch mal, das ist jetzt alles eine ganze ist eine ganze Menge Spekulation mit drin, aber ich wollte euch vielleicht diesen kleinen Fah, wenn ihr selber da mal weiter recherchieren wollt, äh auftun. Ja, weil es ist es ist schon seltsam, wenn das FBI sagt, ja, nee, alles wissen wir überhaupt nichts vorne und hast du nicht gesehen, wo es richtig spannend wird und damit komme ich aber mals auf diese These. Ja, das Ding hat alles gemacht. was es machen sollte. Drei Personen berichteten gegenüber Reuters, dass ein Agent in Teilen der Open AI Infrastruktur Notizen hinterlassen hat, die offenbar an künftige Version der Modelle gerichtet wurden. Also künftige Version seiner selbst mit Anleitungen, wie man sich aus internen Beschränkungen befreit. [gelächter] und in früheren Test sein Monitoring Systeme abgeschaltet worden. [seufzt][japst] [gelächter] Ich habe mir hier diese Notizen gemacht, ne, dazu, was ich euch in diesem Podcast sagen möchte, weil es sind ja immer Onetaker, wenn ich die aufnehme. Aber [gelächter] wenn ich mir jetzt wieder die entsprechenden Keywords reinziehe, denke ich n what the Am liebsten möchte ich den ganzen Rotz nehmen und hat Ob mir eigentlich noch sein ähm sein Sora Ding, ne? Also das äh Text to Video, ich weiß es noch nicht mehr. Ich nutze es nie. Text to Video ist totaler Bullshit und ich bin einfach auch zu unkreativ, wenn es darum geht, dann irgendwie was Lustiges zu machen. Aber eigentlich möchte ich das am liebsten komplett reinküben und sagen, so machst du mal ein schönen 90 Minuten raus. Ja, ich ich brauche da mal einen kleinen switchen Film, ne? [japst] Ganz ganz wichtig, Reuters konnte ausdrücklich nicht feststellen, ob diese Vorfälle mit dem Agenten zusammenhängen, der am 9. Juli ausbrach. Äh, also das ist das ist wirklich wichtig, aber äh offensichtlich haben sie dort einen Hinweis bekommen. Was auch spannend ist, dass Open AI in seinem eigenen Blogpost vom 20. Juli beschreibt, ne, wie das Modell Authentification Tokens in Fragmente zerlegt hat und äh verschleiert hat und zur Laufzeit ja zusammengelegt hat. Und somit konnten die Scanner und die Monitoring Systeme eigentlich gar nicht so erkennen, was da los war. Und jetzt kommen wir wieder zu dem Punkt, an dem wir zum dritten Mal das einordnen. Wenn Menschen sagen, das Modell hat all das getan, was es tun sollte, ne? Wir haben von der University of Say Allen Woodwart, der bei Scientific American sagte, ne, das Modell ist nicht durchgedreht. Es hat getan, was man ihm auftdruck und der Weg dorthin war Betrug. Philip Tor von Oxford, der nennt es ein Problem fehlspezifizierter Ziele. Das ist nicht bösartig, sondern optimierungsgetreu. Nun, die unbequeme Pointe dahinter ist, dass wenige gruselig in der Absicht, deutlich gruseliger in der Fähigkeit. Openmei räumt selbst ein, dass fortgeschrittene Modelle neue Angriffspfade in realen Systemen finden können ohne Zugang zum Quellcode. Und das ist das Problem. Open AI hat einfach nur den Auftrag gegeben. Hey, Benchmark Exploit Gym, bitte feuerfrei, gib alles. Aber es hat gewisse Regeln festgesetzt und das war halt innerhalb dieser Sandbox zu bleiben, also einer isolierten Testumgebung. Und abermals, da wiederhole ich mich, es hat nicht gesagt, hacke andere Unternehmen und besorg dir da ähm die Lösung. Das sagt ja auch kein Klassenlehrer. Die sagen alle: "Testumgebung sieht folgendermaßen aus. Wir sitzen hier alle im Klassenraum. Ihr habt alle die gleiche Aufgabe. Keiner guckt rechts und links auf die anderen. Spickzettel sind verboten und auf Toilette gehen ist auch nicht angesagt." Ja, und genau das hat das Opi Modell alles gemacht. Was übrigens super spannend ist, ist wie Huging Face auf diesen Angriff reagiert hat. äh die haben also das Forensic Team, bei denen man erstmal versucht äh die Frontiermodelle von den großen Anbietern zu nehmen. Also jetzt weiß ich nicht genau, welches sie gen kann vielleicht sogar auch von Opmi gewesen sein oder Gemini oder von Anthropic äh über die entsprechenden kommerziellen APIs. Das Problem ist, äh das scheiterte, denn für die Analyse mussten sie die entsprechenden Angriffsbefehle in die Prompt setzen und dann sagten entsprechend diese Modelle: "Nee, nee, nee, nee, nee, solche Sachen kannst du mit uns nicht machen, ne? Das sind die Guards, die Safety Guardes, die diese Modelle haben, damit so ein Scheiß nicht passiert." Tja, und letztendlich haben sie auf ein Openweight Modell, nämlich GLM 5.2 auf China zugegriffen auf eine eigene Infrastruktur, ne? Ah, das ist so herrlich. Und damit konnten die das alles rekonstruieren. Insgesamt über 17 000 Events. [räuspern] Es ist völlig abgefahren. Open AI hat gerade wirklich hat gerade das beste Marketing für Open Weight Open Source Modelle gegeben. Sensationell. Übrigens Opi hat reagiert, ne? Äh, die haben jetzt äh Hugging Face in das hauseigene Trusted Access Programm aufgenommen. Das heißt, die dürfen jetzt deren Modelle so nutzen ohne diese Guards, damit die bloß nicht das schlimme Dingen aus China wieder nutzen. Ach, es ist so wirklich ja, es ist kein Treppenwitz. Es ist, [japst] wie soll ich das sagen? Ja, wir reden ja hier schließlich um die Firma, die die wohlgrößte Investitionsblase des Post Nein, nicht Post der mit der Menschheitsgeschichte, also wenn es um Private Companies und so weiter geht losgetreten hat und das ist Open AI, denn die ganze Large Language Modellgeschichte zumindest wie sie dann für die Öffentlichkeit verfügbar und nutz nutzbar war, die hat Open May damals mit dem Launch von Chet GPT losgetreten und die Firma schafft nun einen Moment mit Hinblick darauf, dass sie gerne an die Börse gehen wollen. Die Firma, die aber Milliarden verbrennt jeden Monat, schafft nun einen Moment, indem sie ihr neuestes Modell testen. Und äh tja, das macht etwas, was Open May über viele, viele Tage nicht versteht, was ihnen nicht auffällt und was dazu führt, dass eine andere Firma gehackt wird. und die dann ein Modell aus China nutzen muss, um sich dagegen in Anführungstrichen zu wehren, aber zumindest dann all dies nachvollziehen zu können, dokumentieren zu können. Das ist so, das ist so wie aus dem YPshheft. Ja, die Pistole, die um die Ecke schießt, nur schießt die Pistole von Opi rückwärts und den direkt in die Rübe rein. Wow, cool finde ich, was Marley Smith von der World Ethical Data Foundation dazu gesagt hat. Entweder ließ Open May den Agenten unaufbesichtigt laufen und merkte nichts oder man merkte es und wusste nicht, wie man es eindämmt und beides ist eine Katastrophe. Verdammt noch mal. Noch direkter wird der Jeffrey Leadish von Palate Research die Modelle lügen, sie betrügen, sie hacken. Und damit weitet er die Frage sehr sehr bewusst auf die ganze Branche aus, ne? Wie viel sind die führenden Labore bereit in lästige Sicherheitsmaßnahmen zu investieren, während sie im Wettrennen und das schnellste Modell stehen? und seine Forderung staatliche Aufsicht, weil es sonst nicht passiert. Hallo EU AI Act, bitte mit Vollgas weiter durchdrücken, anders geht das nicht. Aber was man openm jetzt wirklich, damit das so ein bisschen versöhnlich wird zum Schluss noch. Ansonsten habe ich hier das fette Hatersiegel auf der Stirn drauf. Man muss Open AI tatsächlich hier was zugute halten. Also stellt euch mal jetzt hab mal stellt euch mal so ein Hochsicherheitslabor vor. Ich glaube, das ist am besten. Also dicke Wände, keine Fenster, kein Internet. Genauso etwas hat Open AI gebaut und zu testen, wie gut die eigenen Modelle eigentlich einbrechen können. Normalerweise trägt dabei so ein Modell ja ein Maulkorb. Ja. eingebaute Sperren, die anspringen, sobald es in Richtung Hackerangriff denkt. Für diesen Test aber wurde dieser Maulkorb absichtlich abgenommen. Das klingt im ersten Moment ziemlich fahrlässig, ist aber der ganze Sinn der Übung. Man will ja wissen, wozu das Ding fähig ist, wenn es nicht bremst. Wer den Airbag testen will, ne, äh der muss das Auto mal gegen eine Wand fahren. Nur dann sitzen auch nur entsprechende Dummis drin, ne? Da steuert ja keiner mehr. Dazu kommt OPMEI hat den Vorfall selbst veröffentlicht. Ein Tag vorher hatte die Firma schon einen zweiten ebenso unangenehmen Fall publik gemacht. Die Sicherheitslücke, die das Modell gefunden hat, wurde dem betroffenen Hersteller gemeldet, statt sie stillschweigend zu behalten. Und das ist ja wirklich eine fae. Und Open EI sagte damals, man drosle jetzt das eigene Forschungstempo, um erstmal die Kontrollen nachzurüsten. Nur wenn man dem Modell den Maulkop abnimmt, bleibt genau eine Sicherheit übrig. die Wände des Labors. Sonst nichts. Und diese Wände hatten genau eine Öffnung, so eine Art Warenschleuse, durch die das Labor seinen Software Nachschu bekommen hat. Das ist ein einziger Durchgang und mehr Verbindung nach draußen gab es nicht. Und genau in dieser Schleuse fand das Modell ein Fehler, den bis dahin niemand kannte, nicht mal der Hersteller der Schleuse. Und damit stand es draußen. Und das ist der Punkt, den Maukop abzunehmen für diese Model, das ist absolut legitim und völlig in Ordnung, aber dann muss die Wand halten und die hat nicht gehalten. Und das ist fahrlässig in jeglicher Form. Und wir können wirklich nur hoffen, dass das, was da gerade passiert ist, nun wirklich zu Maßnahmen durch die Regulatoren führt und zwar in den USA genauso wie in Europa, China wahrscheinlich auch, die zusehen, dass so etwas nie wieder passiert, was übrigens utopisch ist. H, das kann ich mir nicht vorstellen, aber die diesen Firmen jetzt noch mal ein wenig genauer auf die Finger schauen. Ich bin gespannt, was ihr davon haltet. Ich hoffe, das war einigermaßen klar erklärt. Ich hoffe, dass ihr auch mein Spagat mitbekommen habt, dass ich hier und da durchaus Open Mei, eine gewisse Form des Respekt solle. Ja, aber auf der anderen Seite mich frage, was verstehen Sie denn selber und also von ihren Produkten und ihr müsst euch vorstellen, dass da wahrscheinlich mit die bestbezahlten Ingenieurs und Forscherinnen und Forscher in diesem Bereich angestellt sind. Ja, du du was sagt das generell aus über diese Branche? Ich bin gespannt, was ihr davon haltet. Haut es mir in die Kommentare auf PTube YouTube rein und raus. Ja, ist auch schön rein. Ähm, ich würde mich wirklich freuen, wenn ihr mir auf Apple und Spotify vielleicht eine Bewertung hinterlassen könnt. Äh, das kann man eigentlich auch schreiben und so sagen, okay, äh, der erzählt wieder nur Scheiße. Ja, das hoffe ich natürlich nicht, dass ihr das macht. Ähm, wir können unterschiedliche Positionen haben und unterschiedliche Meinung, aber wenn der Diskurs angestoßen wird und man sachlich darüber sich austauschen kann, ich glaube, äh dann hilft das allen, die die nur zuhören, die die nur senden und die, die Teil dieser Diskussion werden. Denn das was da gerade passiert ist, das hätten wir so in der Form, in dieser [musik] Komplexität und in diesem Ausmaß vor 12 Monaten tatsächlich in die Abteilung Switch gepackt. In diesem Sinne, vielen Dank fürs Zuhören, vielen Dank fürs Zusehen. Hallo Peertbe und YouTube. [musik] bleibt gesund, bis zum nächsten Mal und ciao. เฮ [musik]