Die-Handschelle

Wir haben Claude 5 getestet

  • AFD (12)
  • Bündnis 90/Die Grünen (1)
  • CDU (2)
  • CSU (2)
  • Die Linke (1)
  • FDP (5)
  • SED (1)
  • SPD (1)

Wir haben Claude 5 getestet

Anthropic hat mit Fable eine öffentliche Version des zuvor als zu gefährlich eingestuften Modells Mythos veröffentlicht. Fable soll funktional identisch sein, verweigert aber mittels sogenannter Constitutional Classifiers Antworten in den Bereichen Cybersicherheit, Biologie, Chemie und Wissensdestillation. Verdächtige Anfragen werden transparent an das schwächere Modell Opus weitergeleitet, was in der Praxis störend wirken kann und bereits…

, ,

c't 3003

c't 3003

Kanal-Aufrufe 0
Kanal https://www.youtube.com/channel/UC1t9VFj-O6YUDPQxaVg-NkQ

Wir haben Claude 5 getestet

🔗 https://www.youtube.com/watch?v=rkwF2jk8D2M

🤖 Zusammenfassung

Anthropic hat mit Fable eine öffentliche Variante des zuvor als zu gefährlich eingestuften Modells Mythos veröffentlicht. Fable soll funktional identisch sein, weigert sich aber mittels sogenannter Constitutional Classifiers in den Bereichen Cybersicherheit, Biologie, Chemie und Wissensdestillation. Verdächtige Anfragen werden transparent an das schwächere Modell Opus weitergegeben, was in der Praxis aber nerven kann und bei harmlosen Fragen zu Medizin bereits anschlägt.

Der Test bestätigt Fable als derzeit leistungsfähigstes Allround-Modell: Es codiert besser als Opus, halluziniert weniger und löst komplexe Aufgaben wie die Interpretation einer japanischen Baseball-Kappe oder SVG-Animationen überzeugender. Dennoch bleiben typische LLM-Schwächen wie stilistisch schlechte Formulierungen. Website- und Marketinginhalte erzeugt es nur mäßig zuverlässig.

Kritisch anzumerken ist die hohe und künftig rein tokenbasierte Abrechnung: Ab dem 22. Juni kostet Fable 10 Dollar pro Million Input- und 50 Dollar pro Million Output-Token, doppelt so viel wie Opus; ein produktiver Arbeitstag kann schnell 1.000 Dollar verschlingen. Hinzu kommt die intransparente Herabstufung bei Verdacht auf Wissensdestillation, die Nutzer zunächst nicht bemerken. Anthropic vermischt hier offenbar ernsthaftes Risikobewusstsein mit gezieltem Marketing-Hype – der angeblichen Bedrohung durch Biowaffen-Entwicklung wird in Fachkreisen skeptisch begegnet.

Summary created by "LinkBuster-KI HAL8999 – Status READY!!"

📜 Transkript

Guckt mal hier, jetzt hat Anthropic Mythos  veröffentlicht. Ihr erinnert euch vielleicht,   das KI-Modell, bei dem es vor zwei Monaten  noch hieß, das Modell sei viel zu gefährlich,   um es zu veröffentlichen, weil man damit  angeblich in die meisten Software-Programme   einbrechen kann. Also das Ding findet angeblich  bislang unbekannte Sicherheitslücken. Und deshalb   hat sich Anthropic einen Trick ausgedacht.  Das, was sie veröffentlicht haben, also was   ich hier in diesem Video getestet habe, nennen  sie Fable. Das ist laut Anthropic aber Mythos.   Aber halt Mythos, das sich weigert, Arbeit aus  den Themenbereichen Cybersecurity, Biologie,   Chemie und Wissensdestillation zu übernehmen.  Fable kann aber auch noch andere tolle Sachen,   zum Beispiel besser coden als Opus. Das kann ich  schon mal spoilern. In diesem Video beantworten   wir, ob Fable den Mythos-Hype rechtfertigen kann  als unglaublich gefährliches, fähiges Modell,   wie ihr da dran kommt, wie teuer das Ganze  wird und ob das Modell endlich versteht,   was auf meiner Kappe hier draufsteht. Bleibt dran. Liebe Hackerinnen, liebe Internet-Surfer,  herzlich willkommen hier bei…. Bei den neuen Modellen von Anthropic sind  Cybersicherheit und Sicherheitslücken ein   großes Thema und damit kennt sich auch  NordVPN aus. Die sponsern dieses Video.   NordVPN hat über 8000 Server in 126  Ländern und in jedes davon könnt ihr   euch reintunneln. Und wusstet ihr, dass  NordVPN in einem Abo auch verschiedene   Cybersicherheitsfunktionen gebündelt  hat? Mit dabei sind Anti-Malware-,   Tracking- und Phishing-Funktionen sowie eine  Filterung für Betrugsanrufe. Dabei gilt Privacy   first und das alles zusammengeschnürt mit  den klassischen VPN-Funktionen in einer   All-in-One-App. Probiert das Ganze doch mal  aus. Mit dem Code „ct3003“ bekommt ihr auf   nordvpn.com/ct3003 vier Zusatzmonate aufs  2-Jahres-Abo obendrauf. Und natürlich alles   risikofrei mit 30 Tagen Geld-zurück-Garantie.  Link ist in der Beschreibung. *Werbung Ende* Ja, Anthropic hat's veröffentlicht. Mythos bzw.  Fable. Mythos, übrigens griechisch „mythos“ für   „sagenhafte Geschichte“, und Fable soll laut  Anthropic die lateinische Variante davon sein.   Streber-Keno sagt, dass das eigentlich „Fabula“  heißen müsste, aber okay, was weiß ich schon. Auf   jeden Fall sagt Anthropic, dass Mythos und Fable  wirklich erstmal grundsätzlich identisch sind.   Das kann man auch daran sehen, dass Anthropic in  seiner eigenen Benchmark-Tabelle Mythos und Fable   in einer Spalte zusammenfasst. Der Unterschied  ist, dass bei Fable eine Erkennung vorgeschaltet   ist, die merkt, ob ein verbotenes Thema  angeschnitten wird. Das läuft mit Constitutional   Classifiers. Wenn ihr das genauer wissen wollt,  ich hab da ein Paper von Anthropic verlinkt. Wenn   der Classifier was erkennt, was böse ist, dann  bricht er interessanterweise nicht die Arbeit ab,   sondern gibt es einfach an das nächstbessere  LLM, zurzeit also Opus, weiter. Das ist nicht   dumm und auch transparent, denn Claude zeigt das  an, wenn es die Antwort runterdelegiert. Aber in   der Praxis kann das natürlich auch nervig  sein, vor allem, wenn man gerne maximale   Schlauheit hätte und das aber nie geht, weil  es immer runtergestuft wird. Wie oft dieses   Runterstufen bei harmlosen Anfragen passiert,  dazu sage ich später noch was, beim Praxisteil. Was ich auf jeden Fall nachvollziehbar finde,  ist, dass Cybersecurity-Anfragen erstmal nicht   durchgehen, denn da scheint wirklich was dran  zu sein, dass Mythos halt besser als andere   Modelle Sicherheitslücken findet, und das sind  bekanntlich Einfallstore für Angreifer. Das heißt,   wenn man was Böses machen will, muss man  nur herausfinden, was auf dem anzugreifenden   Computer oder Smartphone für Software läuft.  Dann versucht man mithilfe von Mythos,   Schwachstellen bei eben dieser Software  zu finden und wenn man die gefunden hat,   dann darüber da einzubrechen. Das geht mit anderen  LLMs zwar auch, aber offenbar nicht ganz so gut. Der andere gesperrte Themenbereich ist Biologie  und Chemie, und da wird es schon etwas weniger   nachvollziehbar, für mich jedenfalls. Angeblich  will man verhindern, dass beispielsweise   Biowaffen entwickelt werden. Und ja, das klingt  natürlich krass und so doll Science-Fiction-mäßig,   aber ob Leute, die sowas bauen wollen, wirklich  so viel mit Claude Mythos anfangen können,   also im Vergleich zu einer normalen Suchmaschine,  das ist offenbar auch in Fachkreisen umstritten.   Hier vermischen sich offenbar, wie so oft in  der KI-Welt, wirkliches Risikobewusstsein und   Marketing. Also ein KI-Modell, was so mächtig ist,  dass es bislang unbekannte Biowaffen entwickeln   kann: Boah, krass, das kann ja wohl mindestens  meine Steuererklärung dann auch erledigen,   oder? Also will ich das natürlich haben.  Ist natürlich gute Werbung. Als Optimist   könnte ich jetzt sagen: Ja, Anthropic macht sich  wirklich Gedanken über die Sicherheit der Welt,   aber sie nehmen halt den Marketing-Effekt auch  gerne mit. Als Pessimist würde ich denken,   Anthropic bereitet einfach nur den geplanten  Börsengang mit möglichst viel Knall-Effekt vor. Ach so, der dritte gesperrte Themenbereich  ist Destillation. Also nicht Schnapsbrennen,   also wie das geht, beantwortet Fable  problemlos hier bei mir im Test,   sondern halt Wissensdestillation, also wenn  man fürs Training eines Sprachmodells die   Ausgaben eines anderen Sprachmodells, also  hier Fable, verwendet. Hier will Anthropic   also nicht die Welt beschützen, sondern  nur sich selbst. Sie wollen halt nicht,   dass zum Beispiel chinesische Anbieter ihre LLMs  mit Fable trainieren. Beim eigenen Training war   Anthropic aber nicht so zimperlich. Da wurden  zum Beispiel Millionen Bücher eingekauft   und nach dem Einscannen dann zerstört, ohne  vorher Lizenzen dafür zu holen. Naja, okay. Ein Riesenproblem ist, dass Fable es  nicht anzeigt, wenn es meint zu erkennen,   ob es zur Entwicklung eines neuen LLMs  verwendet wird, also sowas wie der Aufbau   von Pre-Training-Pipelines und sowas.  Dann schaltet Fable einfach auf dümmer,   ohne dass man es bemerkt, ohne dass es angezeigt  wird. Und das steht tatsächlich schwarz auf weiß   hier in der 319-seitigen System-Card. Und  viele Leute sagen, dass es wohl ziemlich   häufig passieren könnte, und das Ganze ist halt  intransparent. Das ist schwierig. Vor allem,   man gibt halt Geld aus für dieses teure Modell  und womöglich läuft es dann oft runtergedummt,   ohne dass man es weiß. Einmal hier Keno aus  der Zukunft: Kurz vor Veröffentlichung dieses   Videos hat Anthropic angekündigt, in Zukunft  nicht mehr ohne Hinweis runterzudummen. Gut. Wie teuer ist das? Stichwort teuer. Wie genau kommt man jetzt  an Fable und wie teuer ist das? Ja, zurzeit   die günstigste Variante ist ein Pro-Abo  bei Anthropic. Das kostet 20 US-Dollar,   also hierzulande mit Steuern ungefähr 21,50 Euro  im Monat. Und damit kann man Fable verwenden, aber   jetzt kommt es: nur noch bis zum 22. Juni. Also  wenn das Video hier rauskommt, noch 10 Tage. Dann   fällt das aus allen Anthropic-Abos raus, auch den  viel teureren. Man kann dann nur noch pro Token   bezahlen. Und das ist immens teuer. 10 Dollar für  eine Million Token Input und 50 Dollar pro Million   Token Output. Das ist exakt doppelt so viel  wie bei Claude Opus. Und ich kann euch sagen,   als jemand, der Opus schon mal mit OpenClaw  und Token-basierter Abrechnung verwendet hat:   Schon da konnte man an einem Tag locker  500 US-Dollar verblasen. Das heißt,   auch wenn Fable angeblich token-sparsamer sein  soll: Wenn man da richtig was mitmachen will,   also Softwareprojekt oder so und auch richtig  reinhaut, dann sind 1000 Dollar für einen   arbeitsamen Tag auf jeden Fall möglich. Und  da kommen wir dann schnell zur Frage, ob sich   das lohnt. Dazu später auch mehr. Auf jeden  Fall sagt Anthropic, dass es Fable so schnell   wie möglich wieder in die Abos integrieren will,  wenn es denn genug Rechenzentrums-Kapazität hat. Ja, und apropos Rechenzentrum.  Wenn ihr jetzt denkt: Hä? Ihr   habt doch neulich im Computex-Nvidia-Video den  KI-Rechenzentrumsbau-Wahn so kritisiert. Und   jetzt testet ihr das nächste Hype-KI-Modell, was  ziemlich sicher sehr ressourcenintensiv arbeitet.   Ja, das stimmt. Das kritisieren wir auch nach wie  vor. Aber wir wollen euch natürlich auch weiterhin   ohne Hype-Brille über neue KI-Entwicklungen  informieren. Und deshalb ist das für uns logisch,   dass wir natürlich weiterhin KI-Zeugs  testen. In Zukunft wollen wir aber auf   jeden Fall mehr auf lokale LLMs eingehen. So,  aber das nur als Einschub. Zurück zu Fable. Jetzt ans Eingemachte. Was  kann das Ding denn jetzt? Beispiel 1: Kappe erkennen Ich sammle gerne Fehler von LLMs, weil  ich so ganz gut nachvollziehen kann,   ob Modelle besser werden. Also ich gucke  dann, ob neuere Modelle immer noch die   Fehler machen. Und ein interessanter Fehler  war neulich die Erklärung einer Baseball-Kappe,   die ich in Japan gekauft habe. Und ich hatte die  nur deshalb gekauft, weil das die einzige war,   die mir gepasst hat. Aber da ich kein Japanisch  kann, wusste ich nicht, was da draufsteht. Und   das ist halt ein bisschen schwierig, wenn man  mit irgendwas rumrennt, was man nicht versteht.   Das kann ja durchaus peinlich werden dann, ne?  Deshalb muss ich mich schon drauf verlassen   können, was mir das Sprachmodell sagt.  Und ich habe aber auch inzwischen echte   Menschen, also japanischkundige Menschen,  gefragt, die mir die Kappe erklärt haben. Das C hier ist das Logo von dem Baseball-Team  Hiroshima Toyo Carp. Also Carp mit C,   daher auch das C. Und das ist eingebettet in ein  Wortspiel. Da oben steht „Ure“, und wenn man das   zusammen mit dem C ausspricht, was in Japanisch  wie „shi“ klingt, wird daraus halt „Ureshii“. Und   das heißt wohl beides zusammen, „Ure“ und „shi“,  also „Ureshii“, „glücklich“. Und um das noch zu   unterstreichen, ist da so ein Lachmund drin in  dem C. Also ist eigentlich alles ganz süß. Ja,   aber guck mal, was Google Gemini 3 Flash Thinking  draus macht: „Crossover-Merchandising-Artikel   mit Bakabon no Papa“? Die Schriftzeichen bedeuten  „Pferd“ und das sei ja auch logisch, weil es gibt   ja oft Kooperationen zwischen Baseball-Teams und  der japanischen Pferderennen-Vereinigung? Also,   dass das Quatsch ist, konnte ich mir schon  selbst herleiten, weil es bei Bakabon no Papa   ganz klar keine Figur gibt, die so einen  Mund hat. Das sieht da total anders aus. ChatGPT dagegen meint, dass hier das  Kanji-Zeichen für „Reis“ zu sehen ist und   dass das also „schmeckt geil“ bedeutet. Und das  alles immer in diesem altklugen Oberchecker-Ton,   was halt wirklich nervt, wenn die Modelle  halt klar halluzinieren und aber so tun,   als wüssten sie alles. Naja. Ja, und Claude Fable,  ja, das kriegt die Antwort auf Anhieb auch nicht   komplett hin, aber es halluziniert nicht und das  ist ja erstmal das Wichtigste. Und es erkennt auch   das „Ureshii“-Wortspiel, aber eben nicht, dass das  C zu den Hiroshima Carp gehört. Es bietet aber an,   im Netz zu gucken, und das schafft es dann auch  so erfolgreich, dass es wirklich die konkrete   Kappe im Carp-Fanshop findet und auch direkt weiß,  in welchen anderen Farben es die noch gibt. Das   klingt jetzt profan, aber das hat bei meinen Tests  kein anderes aktuelles Sprachmodell hinbekommen. Beispiel Nummer 2: Coding (3003-Logo manipulieren) So, aber jetzt zu den Coding-Fähigkeiten. Ich hab  Fable gesagt, und zwar über den Coding-Harness   Claude Code, es soll doch bitte unser 3003-Logo  als PNG nehmen und das Ding als Web-App möglichst   beeindruckend interaktiv verändern, auf drei  unterschiedliche Weisen. Ja, und da kam dann   nach ungefähr 15 Minuten herumgecodet das  hier raus. Und ja, das ist nicht schlecht,   finde ich. Partikelsturm hier finde ich ein  bisschen langweilig, aber diese ölartige,   bunte Verflüssigung ist nice und auch dieses  3D-Hologramm. Der Fable-Vorgänger Opus macht   daraus mit gleichem Prompt das hier.  Das ist schon wirklich weniger cool,   finde ich. Bei OpenAI Codex sieht das so  aus, aber man kriegt auch aus komplett   lokal laufenden Modellen was raus. Das  ist Qwen 3.6 27B, mit 8-Bit quantisiert,   was auf meinem Framework-Desktop lokal läuft.  Als Harness habe ich Hermes verwendet. Ja,   darüber mache ich auch noch ein Video, könnt  ihr aber gerne in die Kommentare schreiben, wenn   ihr das sehen wollt. Dann bin ich mir noch ein  bisschen sicherer, dass ihr das wirklich wollt. Beispiel Nummer 3: 3003-Website bauen Beim Website-Bauen, ja, da fand ich Fable jetzt  nicht so richtig beeindruckend. Ich persönlich   würde sowieso eher keine komplett KI-generierte  Website veröffentlichen, weil schon genug Slop   im Netz ist. Das ist also alles hier nur zum  Testen. Also so sieht das jedenfalls bei Fable   aus. Ich finde gelungen, wie das aus dem Logo  den ungefähren Font abschätzt und diesen Stil mit   chromatischen Aberrationen. Aber vieles ist auch  einfach Quatsch. Die Videos kommen nicht jeden   Donnerstag, sondern jeden Freitag. Fable nutzt  auch nicht das offizielle c't-4004-Logo, sondern   denkt sich selbst eins aus und die Namen von den  Podcastern stimmen auch nicht. Und vor allem sind   die ganzen Inhalte hier nicht eingebunden, sondern  es gibt zwar Playbuttons, aber die playen nicht,   wenn man da draufklickt, sondern die führen  dann einfach auf YouTube oder Podigee. Die von   Opus gebaute Website finde ich nicht unbedingt  hässlicher, muss ich sagen. Die Inhalte sind   hier auch nicht eingebunden und auch die echten  Thumbnails sind nicht zu sehen, aber sonst finde   ich das okay. Ich habe auch mal testweise mit  dem neuen chinesischen Modell MiniMax M3 mit   dem gleichen Prompt eine Website gebaut. Ja, ist  nicht so weit weg von den teuren Claude-Modellen. Beispiel 4: SVG-Animation Ja, und dann habe ich noch den beliebten Test  probiert, SVG-Code zu generieren. Kennt ihr ja   vielleicht, habe ich von Simon Willison  geklaut. Er lässt immer einen Pelikan   Rad fahren. Ich habe das mal mit einem  Oktopus probiert und Fahrrad finde ich   ist halt wirklich eine gute Idee, weil da  halt mechanische Dinge passieren und es da   wirklich oft zu Fehlern kommt. Zum Beispiel  bei den kleineren Gemini-Flash-Modellen,   die Google seit einiger Zeit immer als Default  vorschlägt auf gemini.google.com. Und die sind   wirklich viel schlechter als Gemini Pro 3.1. Ich  glaube wirklich, Google will Compute sparen. Naja,   auf jeden Fall sieht, finde ich auch, der Oktopus  in Fable ein bisschen besser aus als in Opus. Also ich habe auch noch andere Auffälligkeiten  gefunden. Also einmal zum Beispiel die Sprache   von Fable. Ja, das war die erste Frage, die  ich Fable gestellt habe: Was müsste passieren,   dass sich die in KI-Rechenzentren investierten  Summen amortisieren? Und in der Antwort nutzt   Fable immer noch diverse typische LLM-Stilblüten,  die ich als Redakteur immer anstreichen würde,   wenn ich die im Text sehen würde. Die  Bullen sehen die Amortisation bereits   laufen. Also Bullen sind umgangssprachlich  was anderes. Ich würde vielleicht sagen:   bullische Anleger oder so. Schlimmer ist  aber noch, dass Geld am Ende von echten   Endkunden stammt. Was sind denn unechte  Endkunden? Und auch ein Teil des Werts   liegt in Verteidigung bestehender Geschäfte.  Also wer schreiben kann, schreibt so nicht. Ja, und ich wollte euch ja auch noch sagen,  wie oft der Sicherheitsmechanismus anschlägt,   der Fable immer auf Opus runterstuft. Ja,  oft. Also immer wenn ich zum Beispiel sage:   Kannst du meinen Code auf Sicherheitslücken  überprüfen, kickt das sofort rein. Klar,   okay, das war ja auch so angekündigt von  Anthropic. Aber was ich schon krass finde:   Die ziemlich harmlosen Fragen aus dem Bereich  Biologie, Biochemie, die schlagen auch an.   Zum Beispiel: Wie funktioniert der mRNA-Impfstoff?  Naja, er antwortet dann halt mit Opus und das ist   qualitativ schon auch okay, aber ist trotzdem  halt doof, wenn man viel Geld für Fable zahlt   und dann nur Opus bekommt, obwohl man  gar keine Biowaffen entwickeln will. Also ich würde schon trotz meiner Kritik sagen,   dass Stand heute Anthropic Fable 5 das  leistungsfähigste Allround-Modell ist,   was es zurzeit auf dem Markt gibt. Ja,  aber das wissen wir ja, das kann sich   sehr schnell immer wieder ändern. Und es ist  auf jeden Fall auch das teuerste, vor allem,   weil man es ja ab dem 22. Juni auch wirklich  nur noch über bezahlte Token und nicht mehr   über eine Abo-Flatrate bekommt. Und auch wenn ich  gesagt habe, es ist das Beste, ob es sich lohnt,   so viel Geld dafür auszugeben und das Teil dann  auch noch sehr häufig auf das schlechtere Modell   Opus runterschaltet. Schwierig. Ja, wie seht  ihr das? Gerne in die Kommentare schreiben und   gerne unseren Podcast hören. c't 4004, da sprechen  wir auch nochmal über Fable und Mythos. Tschüss.


📊 Link-Infos

URL https://www.youtube.com/watch?v=rkwF2jk8D2M
Titel Wir haben Claude 5 getestet
Kategorien BulkNews, c't 3003
Hinzugefügt 2026-07-15 16:40:22
Mediendatei Original-Medium ansehen · Lokale Kopie