Guckt mal hier, obwohl ich mein Internet gerade  komplett abgeklemmt habe, baut mir mein KI-Agent   gerade ein Spiel. Das Ding läuft nämlich komplett  lokal. Anthropic, OpenAI und Co. lesen meine Daten   nicht mit, ätschi. Und das Ding kann auch meine  Linux-Installation komplett bedienen. Also ich   sage einfach, such mir mal im Netz irgendwo  ein Bild mit irgendwie strickenden Oktopussen   und richte mir das als Desktop-Hintergrund  ein. Ja, zack, fertig. Ich kann aber auch   noch viel tiefer ins System gehen und sagen,  richte mir mal eine andere Desktop-Umgebung   ein. Ich will Cosmic statt KDE, zack, fertig. Und ihr sagt jetzt vielleicht, ja, das gibt's doch   schon lange. Und dann sage ich, ja, aber nicht  in dieser Qualität. Komplett lokal auf bezahlbare   Hardware. Wir sprechen hier von einem Modell, was  auf meiner SSD weniger als 17 Gigabyte einnimmt.   Ganz ehrlich, ich habe mir zwar immer gewünscht,  dass lokale KI aufholt gegenüber den großen,   teuren, energiehungrigen Cloud-Modellen, die  ja auch einfach deaktiviert werden können.   Schöne Grüße an Fable. Aber ich war auch immer  noch ein bisschen skeptisch. Und jetzt habe ich   hier bei mir die Kombination aus dem KI-Agenten  Hermes und dem großen Sprachmodell Qwen 3.6 27B   laufen und denke jetzt zum allerersten Mal,  okay, das will ich so benutzen. Das macht   sinnvolle Dinge. Und guck mal bitte, wie schnell  das antwortet. Das ist Originalgeschwindigkeit.  Ich war zwischendurch so verwirrt von den  Fähigkeiten, dass ich gedacht habe, nee, ich   glaube, ich habe da doch was falsch konfiguriert.  Jetzt zapft da doch ein Cloud-Modell an. Das kann   doch nicht sein. Und ich habe dann wirklich das  Internetkabel aus meinem Router gezogen. Und ja,   es lief weiter. Also wirklich komplett lokal. Ja,  und das ist für mich jetzt wirklich mal wieder ein   revolutionärer Moment, weil das System wirklich  das kann, was ich mir unter agentischer lokaler   KI vorstelle. Hier auch mal schöne Grüße an  die kommerziellen Betriebssystemhersteller.   Alles hier im Video ist Open Source und das ist  Lichtjahre von dem entfernt, was ihr so macht.  Ja, und leider habe ich später dann auch gemerkt,  wo die Kompromisse sind, die man hier eingehen   muss und wo der Haken ist. Bleibt dran. Steam Machine nicht kaufen, ne? Nee, nee,   kaufe ich mir nicht. Nee, das ist  ja, ist ja super teuer, das Ding.  Wenn ihr lokale KI macht, dann ist euch vermutlich  Sicherheit wichtig. Und da kommt NordVPN mit   seinem Antivirus der nächsten Generation ins  Spiel. Die sponsern dieses Video. Klar, ihr kriegt   mit NordVPN schnelles und zuverlässiges VPN und  das auch mit einer No-Log-Policy-Garantie, die zum   sechsten Mal unabhängig bestätigt worden ist. Ihr  bekommt mit dem Antivirus der nächsten Generation   aber auch ein wirklich solides Sicherheitspaket.  Alles in einer App, das zum Beispiel Spam-Anrufe   auf einem Handy blockiert. Es erkennt  Phishing, es erkennt Malware und es gibt   auch einen Darknet-Monitor. Den habe ich neulich  mal ausprobiert und der ist echt gruselig. Der   guckt nämlich permanent, ob eure geleakten Daten  irgendwo auf Marktplätzen im Darknet auftauchen.   Also so wie Have I Been Pwned, aber mit mehr  Daten. Probiert NordVPN nochmal aus. Mit unserem   Code CT3003 gibt es vier extra Monate obendrauf  und das Ganze mit 30 Tagen Geld-zurück-Garantie.  Ja Leute, also zwei Sachen schreibt ihr uns  ständig in die Kommentare. Macht doch mal was   zu Hermes-Agent und macht doch bitte mal mehr  über lokale KI-Modelle. Und ja, das machen wir   jetzt und sogar beides in einem Video, in diesem  hier nämlich. Und ich versuche jetzt mal wirklich   alle von euch abzuholen, weil ich auch wirklich  finde, dass das, was hier jetzt möglich ist,   wirklich für alle relevant ist, die gerne  mal einen Computer benutzen. Das Video ist so   aufgebaut, dass es erstmal eher allgemein ist und  dann zum Ende dann doch ein bisschen nerdig wird,   weil das Thema lokale KI ist halt noch etwas  fummelig, aber es lohnt sich auch wirklich.  Also erstmal ganz grob, was ist Hermes-Agent  überhaupt? Ja, das ist ein KI-Agent und anders   als ein Chatbot wie ChatGPT, das halt wirklich  nur im Browser-Fenster lebt und mir da halt   Text und vielleicht Bilder zurückgibt,  kann so ein Agent selbst Dinge tun,   also mir die komplette Computerbedienung  abnehmen. Das heißt, ich kommuniziere mit   dem Agenten in normaler Menschensprache, entweder  per Kommandozeile oder auch per Sprachnachricht.   Ich kann den nämlich auch an eine Messenger-App  auf dem Smartphone ankoppeln und sage dem dann,   was ich will oder was ich machen will und dann  macht er das. Das können Programmierprojekte sein,   zum Beispiel dieser Schneemann-Shooter hier, habe  ich komplett ohne Cloud-Modell entwickeln lassen   oder halt auch einfach Computer-Problemlösungen,  wie zum Beispiel, ich kriege ComfyUI hier auf   meiner AMD-Hardware nicht zum Laufen, installiere  mir das mal bitte. Oder guck dir mal alle   Bilder in diesem Ordner an und verschiebe alle  YouTube-Thumbnails in Unterordner XY. Also alles,   was ein Mensch so machen könnte, der Zugriff auf  diesen Computer hat, auf dem Hermes-Agent läuft.  Am besten funktioniert das mit Dingen, die  man im Terminal, also auf der Kommandozeile   machen kann, also textbasiert. Mit grafischen  Benutzeroberflächen und Websites kann Hermes-Agent   auch arbeiten, aber bei Weitem nicht so gut.  Agenten denken halt in Text und deshalb können sie   am besten mit Text umgehen. Hermes-Agent läuft auf  Linux, macOS und Windows und man kann es nicht nur   auf der Kommandozeile verwenden, sondern es gibt  auf Wunsch auch eine grafische Benutzeroberfläche,   die sieht so aus. Ich habe im Rest dieses Videos  Hermes aber über die Kommandozeile beziehungsweise   über den Telegram-Messenger bedient. Falls euch das jetzt bekannt vorkommt,   ja genau, das gilt auch alles für OpenClaw, der  Hype-Software aus Österreich. Naja, jetzt USA,   der Entwickler Peter Steinberger arbeitet ja  inzwischen bei OpenAI. OpenClaw ist zwar offiziell   kein OpenAI-Projekt und bleibt Open Source,  aber naja, viele Leute sehen die Software seit   Steinbergers OpenAI-Gang ein bisschen skeptisch.  Ja, und deswegen jetzt Hermes-Agent, das ist eine   Alternative, ist auch Open Source, gleiche Lizenz,  MIT und man muss aber wirklich sagen, dass sich   die beiden schon wirklich sehr, sehr ähneln. Meine Erfahrung ist, Hermes arbeitet vielleicht   ein bisschen autonomer, kriegt Sachen besser  selbstständig hin. Bei OpenClaw muss man öfter   hin und her gehen, also sowas wie, versuch's bitte  nochmal, so und so. Hermes ist da oft hartnäckiger   und Hermes ist auch mehr auf Tokensparsamkeit  optimiert. Tokens, das ist ja die kleinste   Einheit, mit der große Sprachmodelle arbeiten, das  sind quasi Silben. Und das Ding bei diesen Agenten   ist halt, dass die hinter den Kulissen einfach  mit riesigen Prompts arbeiten, also da steht dann   halt ein riesiger Roman drin, was sie gerade alles  beachten müssen. Und deshalb verbrauchen Agenten   mies viel Tokens. Das ist gut für Unternehmen wie  Anthropic und OpenAI, die halt Tokens verkaufen,   ist nicht so gut für Leute, die Agenten benutzen  und Tokens kaufen müssen. Deshalb ist es ja auch   so cool, dass ich hier komplett lokal arbeiten  kann. Ich bezahle also nur meine Hardware,   meinen Strom, aber keine Tokens. Dazu später mehr. Kurz mal technisch zum Unterschied zwischen   Hermes und OpenClaw. Hermes verwendet  intern am liebsten Python, um Sachen   zu scripten, OpenClaw TypeScript. Das ist eine  JavaScript-Geschmacksrichtung. Außerdem bezeichnet   Hermes sich als permanent selbstverbessernd. Das  heißt, dass es sich automatisch Sachen merkt,   wenn es was gut hinbekommen hat, zum Beispiel wie  man bestimmte Werkzeuge konkret aufruft und es   baut auch selbst solche Werkzeuge selbstständig.  Das kann OpenClaw auch, macht es aber laut meiner   Erfahrung nicht ganz so zuverlässig. Also das  kann sein, dass sich OpenClaw einen abbricht,   zum Beispiel in meinem Heimnetzwerk irgendwie  Inhalte auf meinen Fernseher zu bringen. Und   wenn man das dann später noch mal versucht,  dann fängt er manchmal wieder von vorne an,   statt sich an die schon mal gefundene Lösung  zu erinnern, was super nervig sein kann. Bei   Hermes ist die Wahrscheinlichkeit höher, dass es  sich gemerkt hat, wie mein Fernseher ansprechbar   ist. Dafür hat OpenClaw aber mehr vorgefertigte  Skills in der eigenen Claw-Hub-Datenbank. Hermes   schreibt sich die Skills lieber selbst. Und was auch ganz klar sichtbar ist,   Hermes-Agent verhält sich technischer als  OpenClaw. Also Hermes zeigt auch mal irgendwelche   Terminal-Aufrufe im Messenger, während OpenClaw  solche Sachen eher versteckt und versucht,   einen Menschen zu cosplayen. Und OpenClaw ist  als privates Hobby-Projekt gestartet, wo es halt   null um Security und sowas ging. Das hat sich  inzwischen auf jeden Fall verbessert, aber ganz   klar, bei Hermes-Agent wurde Security von Anfang  an mitgedacht, einfach weil es das neuere Projekt   ist. Hinter Hermes steckt Nous Research aus New  York. Die kommen aus der Kryptowelt und sind schon   lange in der lokalen LLM-Szene aktiv, haben zum  Beispiel unzensierte Modelle veröffentlicht. Das   ist eine recht kleine Firma, also noch jedenfalls. Okay, das erst mal vorab. Und wie genau habe ich   Hermes-Agent jetzt getestet? Also natürlich  habe ich das nicht auf einem Produktivsystem   installiert, wo irgendwelche wichtigen Daten  drauf sind. Hermes hat nämlich Zugriff aufs ganze   System. Da können also Sachen kaputt gehen. Das  Thema agentische Systeme ist ja auch noch ziemlich   neu. Ich persönlich würde euch deshalb immer  empfehlen, probiert das nur auf Systemen aus,   wo es nicht schlimm wäre, wenn a, alle Daten  verloren gingen und b, wenn die Daten von diesem   Rechner irgendwohin abfließen. Stichwort Prompt  Injections, also versteckte Anweisungen an den   Agenten, die irgendwo im Netz liegen können. Deshalb habe ich es so gemacht, dass ich   Hermes-Agent auf einem komplett blanken  System getestet habe. In dem Fall CachyOS,   also Linux und das auf einem Framework Desktop.  Das ist ein Rechner, der selbst auch zusätzlich zu   Hermes ein LLM hosten kann. Also auf dem nicht nur  Hermes selbst läuft, sondern eben auch das lokale   LLM obendrauf, wenn ich das will. Das muss aber  nicht so sein, denn Hermes selbst läuft auch auf   einem sehr viel langsameren Rechner. Es kann ein  altes Notebook sein oder ein gemieteter VPS oder   man kann das Ding auch in der virtuellen Maschine  installieren. Ist alles egal. Wenn ihr aber keine   Cloud-KI nutzen wollt, dann braucht ihr dann aber  halt noch einen Rechner, auf dem ein LLM läuft.  Für mich ist der Sweetspot in Sachen Qualität  und Aufwand zurzeit Qwen 3.6 mit 27 Milliarden   Parametern in 4-Bit-Quantisierung. Da sind  die Gewichte 17 Gigabyte ungefähr groß.   Also man braucht dann also mit Puffer und mit  Kontext und mit Sicherheitsreserve ungefähr   24 Gigabyte schnellen Speicher. Im besten Fall  GPU-Speicher. Zur Not läuft das aber auch auf   24 Gigabyte normalem RAM. Bei meinen Tests habe  ich Qwen von einem Gaming-PC mit RTX 4090 auf   meinen Linux-Hermes-Rechner zugespielt, geserved  sozusagen. Übrigens lief auf dem LLM-Rechner sogar   Windows. Das würde aber mindestens genauso gut mit  Linux gehen. Die Kombination fand ich aber ganz   lustig. Also Linux wird von Windows geserved. Aber bevor wir in die Details einsteigen,   also wie man das Ding lokal einrichtet, ein paar  Beispiele, was ich mit der Kombination Hermes   und Qwen 3.6 27B so gemacht habe. Erst mal ganz  allgemein zum Verständnis, denn auch wenn das LLM   selbst nicht ins Internet kann, kann es Hermes und  das ist eine gute Kombination. Also Intelligenz   vom lokalen Modell und Internet vom agentischen  System. Da kann man dann nämlich einfach auch   so Sachen fragen, wie ist das Wetter zurzeit in  Hannover? Und dann gibt es darauf eine Antwort.   Und die Systeme halluzinieren dann auch nicht  mehr so viel, weil es sich eben immer mundgerecht   Informationen aus dem Internet holen kann. Weil Hermes eben nicht nur über die Kommandozeile   steuerbar ist, habe ich auch mein Handy verwendet  mit Telegram. Nicht, weil ich so ein Telegram-Fan   bin, sondern weil Telegram am einfachsten  einzurichten ist mit solchen Agenten. Das   dauert mit Telegram wirklich nur drei Sekunden.  Damit kann ich dann den Hermes-Agent auch von   unterwegs verwenden, ohne dass ich mein internes  Netz irgendwie nach draußen öffnen muss. Geht,   wie gesagt, alles über Telegram. Im Detail habe  ich das ja schon im OpenClaw-Video gezeigt.  Ja, und mein erster praktischer Test, ob es  Hermes mit dem lokalen Qwen schafft, hier im   Browser meine jährlichen Mitarbeiterschulungen  zu lösen. Das sind so Multiple-Choice-Fragen.   Und da sind wir dann schon direkt im  Territorium, das recht anschaulich zeigt,   warum man lokale Modelle verwenden will. Da habe  ich nämlich deutlich weniger Bauchschmerzen,   so firmeninterne Websites zu verwenden. Bleibt  ja schließlich alles auf meiner eigenen Hardware.   Würde ich jetzt OpenAI oder Anthropic Cloud  verwenden, würde halt ganz viel Zeug an   US-Server geschickt werden. Will ich nicht. Hier geht es zwar jetzt nur um so eine   Sicherheitsschulung, die auch nicht direkt im  heißen Intranet läuft, sondern auf einer externen   Website. Also Firmengeheimnisse gibt es da eh  nicht. Aber fühlt sich halt trotzdem deutlich   besser an, weil halt alle Daten auf meinen  Rechnern bleiben. Aber es geht ja nicht nur um   mein Gefühl. Viele von euch sind ja auch beruflich  an irgendwelche Zertifizierungen gebunden. Und da   gibt es viele, die zum Beispiel verbieten, dass  Daten außerhalb der EU verarbeitet werden. Und ja,   da habt ihr dann ein Problem mit Claude und so. Ich will aber jetzt auch nicht sagen, hey,   mit lokalen Modellen ist das alles gar kein  Problem. Also eure Daten werden natürlich nicht   direkt irgendwo zu Drittanbietern geschickt,  wo die Daten dann womöglich noch irgendwie zum   Modelltraining oder so verwendet werden. Aber  es besteht immer die Gefahr, dass euer Agent,   wenn er eine Netzanbindung hat, über vergiftete  Prompts irgendwo stolpert und womöglich Dinge tut,   die ihr gar nicht wollt. Bedenkt das immer  mit, wenn ihr wirklich Dinge verarbeiten wollt,   die auf keinen Fall jemand sehen darf,  dann benutzt eure agentischen Systeme   komplett ohne Internetverbindung. Das geht  schon auch. Bei meinen Tests hier hat es   allerdings immer eine Verbindung nach außen  und mir sind auch keine Prompt Injections   untergekommen, zumindest nicht bewusst. Ja und wie ist Hermes jetzt klargekommen mit   den Schulungen, mit den Tests? Also am Ende hat es  alle Prüfungen erfolgreich bestanden, aber der Weg   dahin war extrem umständlich. Ich hatte ja gerade  schon gesagt, dass es auf dem Terminal echt besser   funktioniert als auf Websites, weil es da wirklich  immer Screenshots machen muss, ans LLM schicken,   analysieren, gucken, wo es hinklicken muss und  so weiter. Und das verbraucht halt extrem viele   Tokens, was also dann dazu geführt hat,  dass Hermes ständig den Kontextspeicher,   also quasi das aktuelle Kurzzeitgedächtnis,  komprimieren musste. Und das dauert und macht   auch die Arbeit nicht unbedingt besser, sage ich  mal. Hermes hat also super oft neu angesetzt,   obwohl es eigentlich schon fast fertig war. Es  hat dann auch irgendwelche Skripte geschrieben,   um das Kontextproblem zu lösen. Und  ja, es tat schon wirklich ziemlich weh,   das als Mensch zu beobachten, wie es sich da  abgequält hat. Aber hey, aber am Ende hat es,   wie gesagt, irgendwie geklappt. Viel besser haben Sachen funktioniert,   die sowieso komplett übers Terminal gingen. Also  sowas wie installiere A-Step zur Musikgenerierung,   generiere ein Lied über fliegende Oktopusse  und spiele das auf meiner Sonos-Box ab. Und   zwar natürlich ohne, dass ich Hermes mehr Details  gegeben hätte. Der schafft das einfach. Der findet   die Sonos-Box im Netzwerk und findet raus, wie  man das da auch abspielt und macht das einfach.  Ja, und Coding geht natürlich auch. Hier ein  Spiel, wo man mit warmem Wasser Schneemänner   und -frauen zum Schmelzen bringt. Ich  glaube, das hatte mit der Hitzewelle zu tun,   dass ich auf die Idee gekommen bin. Und  hier der 3003 Cyber Run, wo man mit diesem   tollen Auto rumfährt und komischen Dingern  ausweicht. Was ich hier beeindruckend fand,   die Soundeffekte hat Hermes einfach lokal mit dem  Tool Harmula generiert. Und ich hatte Harmula gar   nicht selbst installiert oder installieren lassen. Und klar, Hermes kann auch in Linux rumfrickeln,   zum Beispiel mein Desktop-Hintergrundbild  ändern und das Bild vorher auch lokal mit   ComfyUI und zum Beispiel dem Bildgenerierer Flux  generiert. Hier ein Oktopus vom Rechner. Also ich   kann wirklich sagen, ich hätte gerne das und das  auf meinem Desktop-Hintergrundbild und das war's.   Das macht er dann. Und das kann ich auch in  mein Handy reinlabern als Sprachie. Und das   wie gesagt komplett lokal, ohne dass Daten von  mir irgendwo rausgehen. Ehrlich gesagt stelle   ich mir genau so einen persönlichen Co-Piloten  vor und kurioserweise hat das von den großen   Betriebssystem-Entwicklern noch niemand  geschafft. Das ist alles hier Open Source,   wie ich am Anfang schon gesagt habe. Aber ja klar, das funktioniert zwar,   aber das ist auch noch nichts für den Massenmarkt.  Könnt ihr zum Beispiel hier sehen, als ich gesagt   habe, er soll ein weiteres Desktop-Environment  installieren. Mein CachyOS hatte bis dahin nur   KDE installiert und ich wollte Cosmic. Ja,  das ging jetzt nur so halb gut, aber hey,   am Ende hat es dann auch geklappt. Aber auch wenn Hermes mit Qwen auf der   Kommandozeile und beim Coding ganz gute Resultate  abliefern, sieht das beim Sprachgefühl eher nicht   so gut aus. Also wie es mit mir kommuniziert, da  merke ich dann schon, dass das kein Mensch ist.   Hier habe ich zum Beispiel gerade versucht per  Telegram meinen LLM-Server zu benchmarken. Dann   sagt Hermes mit Qwen so zu mir, ich schicke eine  Anfrage und „timings sie selbst“. Ich dann so,   was, „timings sie selbst“? Und dann  sagt das System, ah, „guter Punkt,   das war schwul formuliert“. Ich so, „wie schwul?“  Antwort, „haha, okay, fair. Ich meinte es eher als   umständlich formuliert oder schlecht ausgedrückt.“  Lach, wein, Emoji. Also keine Ahnung, ob das Ding   irgendwie mit Schulhofsprüchen aus den 90ern  trainiert wurde, aber schwul für schlecht,   das ist schon ziemlich hängen geblieben. Und weil das eben so ein vergleichsweise   kleines Sprachmodell ist, neigt es auch zu starken  Halluzinationen, vor allem ohne Internetzugang.   Hier sind zum Beispiel 20 Attraktionen in  Hannover, die in keinem Reiseführer stehen und   jede einzelne ist komplett zu 100 % halluziniert,  aber zugegebenermaßen sind die auch ziemlich   unterhaltsam. Leibnizens letzter Hausschuh im  historischen Museum, Vitrine 14b. Hannovers erste   Telefonzelle, die in einer Hauswand steckt  und heute ein Briefkasten ist. Ja, klar,   logisch. Oder hannoversche Himmelsstürmer-Ecke,  daneben ein fast unsichtbarer Gummibaum aus den   50ern. Das grüne Herz, „vermodrende“ Skulptur,  eine vergessene Umweltinstallation aus recycelten   Fahrrädern im Stadtgarten, die langsam rostet  und wirklich immer ganz toll bei Halluzinationen,   wenn das LLM „ja, wirklich“ hinter  offensichtlichen Quatsch schreibt.  Wichtig ist auch nochmal zu erwähnen,  so ein klitzekleines Modell wie Qwen 3.6   mit nur 27 Milliarden Parametern, das ist auch  anfälliger für zum Beispiel Prompt-Injections.   Also zum wiederholten Mal: Nutzt das so  komplett mit Vollzugriff nur auf Systemen,   wo nichts Wichtiges drauf ist. Kurzer Einschub: Ja, also besser   mit Sprache umgehen kann auf jeden Fall das  lokale LLM Gemma 4 von Google. Das habe ich   in der Variante 26B A4B tatsächlich auf meiner  brandneuen Steam Machine mit 8 GB GPU-Speicher und   16 GB normalem RAM laufen lassen und von Hermes  als Intelligenz nutzen lassen. Das ging auch,   guckt hier, diese 3003-Animationen habe ich davon  coden lassen. Aber das hat nicht wirklich Spaß   gemacht, weil das auf der Steam Machine wirklich  extrem langsam läuft, eben weil das nicht komplett   in die GPU passt und das immer wieder in den  normalen RAM auslagern muss. Einschub Ende.  Jetzt geht es wieder um Qwen. Ich hoffe, ich habe  euch nicht verwirrt, dass jetzt auf einmal von   einem anderen Sprachmodell die Rede ist, aber  ich wollte einmal zumindest Gemma 4 erwähnen,   weil das auch ziemlich gehypt gerade. Aber in  Sachen Computerbedienung und Coding schneidet   Qwen 3.6 27B meines Erachtens besser ab.  Deshalb habe ich mich jetzt darauf fokussiert.  Und jetzt endlich. Was braucht ihr, um das tolle  Qwen von Alibaba laufen zu lassen? Also ich habe   das auf drei Rechnern ausprobiert. Auf dem  Framework Desktop mit 128 GB Unified-Speicher,   beim Gaming-PC mit RTX 4090 und auf meinem MacBook  Air M2 mit 24 GB Unified-Speicher. Mir ist klar,   dass das alles schon so Luxushardware ist,  die man nicht einfach irgendwo rumliegen   hat. Aber 24 GB Speicher, die braucht man  halt, damit man diese 17 GB Weights, also   das 27-Milliarden-Parameter-Modell in 4-Bit plus  Kontext plus Puffer irgendwo laufen lassen kann.  Also am besten ist das extrem schneller Speicher,  also GPU-Speicher oder halt gemeinsamer GPU- und   CPU-RAM, wie bei Apple-Rechnern und zum Beispiel  auch dem Framework Desktop. Das Modell läuft auch   auf 32 GB normalem DDR5-Speicher, aber das  ist extrem lahm. Wenn ihr euch jetzt fragt,   du hast doch gerade gesagt 24 GB reichen aus.  Ja, aber wenn ihr insgesamt nur 24 GB habt,   dann geht das eben nicht, weil das Betriebssystem  ja auch noch irgendwo hin muss. GPU-Speicher   reichen 24 GB, das kann ja dann nahezu  komplett exklusiv vom LLM verwendet werden.  Zum Thema Geschwindigkeit gehen wir gleich  noch ein bisschen tiefer ins Rabbit Hole.   Erst mal ganz kurz, wie man Hermes Quick & Dirty  ausprobieren kann. Betonung auf Quick & Dirty,   das ist jetzt nicht der beste Weg, sondern ein  einfacher. Und zwar installiert ihr Ollama,   das gibt es für Linux, macOS und Windows. Und  wenn das installiert ist, tippt ihr einfach   „Ollama“ auf der Kommandozeile ein und dann wählt  ihr aus „Launch Hermes-Agent (install)“ und dann   fragt Ollama, welchen Provider ihr nehmen wollt,  also welches LLM. Und da will euch dann Ollama   irgendwelche Cloud-Modelle verkaufen und ein Abo.  Aber das wollt ihr nicht, sondern ihr wählt dann   z. B. wenn ihr den Speicher habt, Qwen 3.6 aus,  es gibt aber auch noch andere kleinere. Damit   wird Hermes nicht so gut laufen, aber könnt ihr  auch ausprobieren. Und dann wird Qwen 3.6 auf   eurem System runtergeladen, dann könnt ihr Hermes  direkt damit benutzen, dann seid ihr schon fertig.  Aber Ollama ist ziemlich sicher nicht die beste  Variante, um lokales LLM laufen zu lassen. Das   hat ganz viele Gründe, aber wie ihr gerade  gesehen habt, ist es extrem einfach. Ab jetzt   müsst ihr auch nicht mehr Ollama starten  für Hermes, ihr könnt einfach „Hermes“   eingeben. Und wenn ihr „hermes model“ eingebt,  könnt ihr auch einfach andere LLM-Provider nutzen,   z. B. meinen Rechner im Nebenraum mit RTX 4090.  Einfach die IP-Adresse eingeben und da habe ich   dann halt den Vorteil, dass Qwen 3.6 komplett  im schnellen Grafikspeicher läuft. Und das ist,   wie gesagt, wirklich sauschnell. Und  zwar sowohl bei der Tokenberechnung,   also dem Generieren von Tokens, als  auch beim sogenannten Pre-Processing.  Ich hatte ja am Anfang erklärt, dass  diese agentischen Systeme immer riesige   Prompts ins Sprachmodell reinfüttern. Und die  müssen halt immer erstmal bearbeitet werden,   bevor es losgehen kann mit den Antworten. Und ich  muss zugeben, dass ich in der Vergangenheit bei   Tests von lokaler KI wirklich zu viel Fokus auf  Tokengenerierung gelegt habe. Einfach weil ich   nicht mit agentischen Systemen getestet habe. Ich  habe einfach nur minikurze Prompts ausprobiert,   also sowas wie erzähl mir eine Geschichte. Und  ja, da ist dann das Prompt-Processing unwichtig,   weil das Prompt ja nur so kurz ist. Ja, das  ist in der Praxis nur die halbe Wahrheit,   weil es bringt mir wenig, wenn mein System  zwar in kurzer Zeit viele Tokens ausgeben kann,   dafür aber vorher ewig auf dem Prompt rumkaut.  Deshalb ist Prompt-Processing wichtig.  Guck mal hier, das sind die Benchmark-Ergebnisse  auf den drei Rechnern, die ich hier nutze. PP512   ist erwähntes Prompt-Processing, also PP für  Prompt-Processing und TG128 ist Token-Generation.   Beides ist angegeben in Token pro Sekunde. Und  ihr seht auf der RTX 4090 alles viel schneller   als auf dem Framework Desktop und vor allem dem  MacBook M2. Allerdings knallt der Rechner mit   RTX 4090 im LLM-Betrieb auch über 500 Watt weg.  Beim Framework sind es nur 140 Watt. Ermittelt   habe ich die Zahlen übrigens mit LlamaBench.  Das ist Teil von llama.cpp, der wohl zurzeit   gebräuchlichsten LLM-Abzapf-Software-Bibliothek. Ollama nutzt auch intern llama.cpp, will aber   immer alles automatisch machen, was oft nicht  das ist, was richtig ist. Zum Beispiel wollte   es auf meiner RTX 4090 hier nicht komplett  im GPU-Speicher laufen, sondern teilweise auf   der CPU, was es dann elend lahm gemacht hat.  llama.cpp ist etwas spröde in der Bedienung,   aber wenn es erstmal läuft, dann läuft das. Kleines Geständnis von meiner Seite,   ich installiere llama.cpp eigentlich nicht mehr  manuell, sondern nur noch per Coding-Agent,   also mit Claude Code oder Codex. Also will ich  einen Rechner ernster für lokale KI verwenden,   dann gehe ich einmal kurz in die Cloud, wie gesagt  mit Claude Code oder Codex. Oder auch GLM 5.2 aus   China, auch ein Modell, was gerade gehypt und was  damit gut funktioniert. Und dann sage ich dem,   er soll auf diesem Rechner mal überlegen,  welches lokale Modell für agentische KI   da am besten laufen könnte. Und er soll dann  Messreihen machen. Zum Beispiel sage ich dann,   benutze mal die Modelle Qwen 3.6 und Gemma  4 mit unterschiedlichen Quantisierungen.  Dann probiere ich auch gerne nochmal die  unterschiedlichen Varianten aus. Denn Qwen   3.6 und Gemma 4 gibt es einmal  als sogenannte Dense-Varianten,   aber auch als Mixture-of-Experts-Version, MOE. Bei  MOE ist immer nur ein Teil der Parameter aktiv,   weshalb es meist deutlich schneller läuft.  Aber dafür ist die Qualität auch ein bisschen   schlechter. Bei Dense-Modellen, da sind immer  alle Parameter gleichzeitig aktiv. Ich muss sagen,   dass ich mit dem Dense-Modell, also dem 27B von  Qwen 3.6, bessere Erfahrungen gemacht habe. Das   Mixture-of-Experts-Modell, das heißt Qwen 3.6  35B. Ich habe es euch gesagt, Rabbit Hole.  Das Ding ist nur, dass das lokale LLM nicht  nur irgendwie laufen muss, sondern wenn ihr   es mit Hermes-Agent verwenden wollt, braucht ihr  auch ein großes sogenanntes Kontextfenster von   mindestens 65.000 Token. Das ist wie gesagt  so das Kurzzeitgedächtnis, also die Token,   die das Ding im Gedächtnis, im Speicher behält.  Je größer der Kontext, desto mehr Speicher wird   zusätzlich benötigt und desto langsamer wird es  auch. Deswegen, obwohl die Weights nur 17 Gigabyte   groß sind, brauche ich trotzdem die 24 Gigabyte  meiner Grafikkarte, wegen des großen Kontext.  Auf meinem MacBook Air M2 läuft Qwen 3.6 mit  27B und 4-Bit-Quantisierung übrigens maximal   mit 16K-Kontext und das muss da dann auch schon  ein bisschen was auf die SSD auslagern. Also mit   Hermes kann ich es vergessen auf meinem MacBook.  Wie gesagt, man braucht mindestens 64K-Kontext   für Hermes. Aber damit Hermes wirklich Spaß  macht, will man eigentlich sogar 100K oder   im besten Fall genau 226.144 Tokens. Das  ist das Maximum, was Qwen 3.6 beherrscht,   weil auch schon bei kleineren agentischen  Aufgaben und vor allem Programmierprojekten,   werdet ihr sehen, dass euer Kontext vollläuft  und Hermes dann immer wieder komprimieren muss.   Mit 200K-Tokens, da kriegt ihr viele Sachen  komplett ohne Kompressionen und Neuansetzungen.  Und wie gesagt, Kontext kostet zusätzlich  Speicher. Was ihr deshalb machen könnt,   wenn ihr mehr Kontext haben wollt, den  sogenannten KV-Cache in den normalen RAM auslagern   oder auch den KV-Cache quantisieren, also die  Genauigkeit verringern. Genauigkeit verringern,   das klingt erstmal schlimm, klappt aber bis  zu einem gewissen Grad nahezu verlustfrei.  Sowieso quantisieren, ich habe ja in  diesem Video schon häufiger von 4-Bit   oder Q4 gesprochen. Das bedeutet, dass statt  16-Bit-Gleitkommagenauigkeit die Parameter nur   in 4-Bit-Genauigkeit gespeichert sind, was  natürlich extrem viel Speicher spart und da   kann man dann jetzt auch richtig drüber  obsessen. Es gibt nämlich nicht nur 4-,   5-, 6-Bit-Quantisierung, sondern es  gibt auch noch Hybrid-Quantisierung,   die unterschiedliche Layer unterschiedlich  genau quantisieren, also Rabbit Hole.  Der Mainstream-Konsens ist, dass Qwen 3.6 27B  meist in der Unsloth-Variante UDQ4_K_XL.GGUF   mit MTP verwendet wird. Da passt das Ding  nämlich nicht nur in 24-GB-GPU-Speicher,   sondern da passt dann auch noch genug Kontext mit  rein. Also das ist auf jeden Fall die Variante,   die ich die ganze Zeit verwendet habe, aber ey, da  kann man sich richtig reinnerden, es gibt wirklich   so viele unterschiedliche Varianten. Es gibt  auch unterschiedliche Leute, die die Modelle   quantisieren und so. Das ist halt das Ding, wenn  die Sachen offen sind und man damit Sachen machen   darf, dann machen Leute auch Sachen damit. Und  das ist ja auch cool, aber es ist ein bisschen   schwierig, da den Überblick zu behalten. Ich kann euch auf jeden Fall sagen,   dass ich hier meine besten Erfahrungen mit diesem  llama.cpp-Aufruf gemacht habe. Das ist das besagte   3.6-27B-Modell mit Flash-Attention und MTP, also  Multi-Token-Prediction, was die Geschwindigkeit   nochmal steigert. Und wenn ihr die multimodalen  Fähigkeiten benutzen wollt, das heißt, wenn das   Ding auch Bilder erkennen soll, das braucht ihr  auch, um Websites zu benutzen, weil das geht ja   über Bilder, müsst ihr auch noch die MMPROJ-Datei  zusätzlich herunterladen bei Hugging Face.  Hey, ich habe euch gewarnt, das ist ein  komplexes Thema. Wie gesagt, ich empfehle   den ganzen llama.cpp-Kladderadatsch mit einem  Coding-Cloud-Tool zu installieren. Ihr könnt   dafür natürlich auch Hermes mit einem lokalen  Modell verwenden. Habe ich auch ausprobiert,   das funktioniert auch ganz gut, auch dass er  diese Messreihen macht und ausprobiert, was auf   eurem System am besten funktioniert. Aber da habt  ihr halt ein Henne-Ei-Problem. Auf dem Rechner,   wo ihr das lokale Modell installieren wollt,  kann ja nicht schon ein lokales Modell laufen,   beziehungsweise nur dann, wenn ihr  wirklich extrem viel Speicher habt.  Ihr müsst aber dafür auch nicht sofort ein  Anthropic- oder OpenAI-Abo abschließen.   Zum Beispiel mit OpenRouter könnt ihr einige  Cloud-Modelle auch komplett kostenlos verwenden.  Ja, puh, ich habe selbst gemerkt, dass das hier  am Ende doch noch ziemlich komplex geworden ist.   Aber ey, ich finde es halt auch nicht aufrichtig,  wenn ich euch nur das Ergebnis zeige und nicht   darauf eingehe, wie man das selbst nachbaut. Ich  bin jedenfalls wirklich beeindruckt davon, wie   brauchbar schon jetzt lokale Modelle mit Hermes  sind. Und Qwen 3.6 und Gemma 4 werden nicht die   letzten lokal lauffähigen Modelle sein. Das wird  weiter besser werden. OpenAI und Anthropic werden   es in Zukunft nicht leicht haben, meine Prognose. Das Ding ist nur, Hardware, auf der sowas läuft,   bleibt teuer. Aber alleine die Möglichkeit,  auch interne, intime Daten zu verarbeiten,   ohne Bedenken zu haben, dass die Daten sonst wohin  abfließen, also von den Prompt Injections mal   abgesehen, das ist schon Gold wert. Aber das muss  ich auch nochmal betonen, sowas wie Qwen 3.6 ist   brauchbar, aber das ist auch noch fehleranfällig.  Und das ist auch noch nicht auf dem Niveau eines   Anthropic-Cloud-Fable oder so. Das muss euch  klar sein. Aber ich kann euch empfehlen,   damit rumzuspielen. Es ist extrem faszinierend.  Und mal sehen, wie das in einem halben Jahr   aussieht. Ich bin auf jeden Fall gespannt. c’t 3003 und unser Podcast 4004 machen übrigens   jetzt Sommerpause zwei Wochen lang. Wenn ihr auch  in dieser Zeit von uns was mitbekommen wollt,   abonniert unseren kostenlosen Newsletter c’t  3003 Hype. Link ist in der Beschreibung. Tschüss.