Freitagabend, du sitzt im Zug, der Laptop ist auf, und du willst Hermes eine Codebasis geben, die du tagsüber überflogen hast – nur um festzustellen, dass dein API-Kontingent aufgebraucht ist, während die diskrete GPU in deiner Tasche bisher nichts anderes gesehen hat als Spiele. Oder du prüfst einen Vertrag, der noch nicht öffentlich ist, und möchtest nicht, dass auch nur ein Zeichen davon durch irgendeinen Cloud-Server wandert – nicht einmal bloß auf dem Weg dorthin. Seit Anfang September 2026 ist „große Modelle lokal ausführen“ bei Hermes von einer fummeligen Bastelei zum Ein-Klick-Schalter geworden: Die App lädt und pflegt die llama.cpp-Inference-Engine für dich, wählt den passenden Build jedes Modells für deine Hardware aus und verwaltet den GPU-Speicher von Anfang bis Ende. Kein Konto, kein API-Key – und ist ein Modell erst einmal heruntergeladen, funktioniert alles vollständig offline.

Warum lokale Modelle zum Selbermachen früher so nervig waren

Wenn du schon einmal versucht hast, ein offenes Modell auf der eigenen Maschine laufen zu lassen, kennst du die Mühsal. Zuerst installierst du eine Inference-Engine (llama.cpp, Ollama oder Ähnliches). Dann jagst du eine GGUF-Datei – das Community-Standardformat, das Gewichte und Architektur eines Modells in eine einzige Datei packt. Aber das ist erst der Anfang: Abgebrochene Downloads wiederholst du von Hand; Out-of-VRAM-Fehler zwingen dich herauszufinden, welche Layer in welcher Reihenfolge in den Arbeitsspeicher ausgelagert werden müssen; der Context Window startet viel zu klein; und die Wahl der Quantisierung (Gewichte auf niedrigere Präzision komprimieren, um Speicher zu sparen – Q4 oder Q8?) fühlt sich an wie ein Münzwurf.

Tools wie Ollama haben einen Teil davon gelöst. Hermes geht weiter und übernimmt die ganze Kette – Engine, Downloads und Speicherplatzierung –, sodass dir drei Klicks bleiben.

Der Drei-Klick-Ablauf im Desktop

Öffne in einem aktuellen Hermes-Desktop-Build Einstellungen → Anbieter → Lokale Modelle. Unter macOS und Windows ist dieser Eintrag inzwischen standardmäßig sichtbar. Dann:

1. Klicke auf „Runtime installieren“. Hermes lädt den offiziellen llama.cpp-Build für deine Hardware herunter (ein paar hundert MB), verifiziert ihn und hält ihn bei künftigen Releases aktuell. llama.cpp ist die Open-Source-Engine, die das Modell auf deiner GPU oder CPU ausführt.
2. Wähle ein Modell aus dem Katalog und klicke auf „Herunterladen“.
3. Klicke auf „Verwenden“. Neue Chats laufen ab jetzt auf dem lokalen Modell.

Der Server startet und stoppt zusammen mit Hermes und übersteht Neustarts der App. Der Wechsel zurück zu einem Cloud-Provider ist ein Klick im Modell-Picker.

Was im Katalog steckt – und ob deine GPU ihn schafft

Der kuratierte Katalog umfasst derzeit vier Modelle – von Alltagsgröße bis Frontier-Klasse:

Modell	Profil	Hardware-Anforderung
Qwen3.8 27B	Allround-Agent-Modell; sieht Bilder; langer Context bleibt schnell	GPU mit 16 GB+ schafft es in hoher Qualität
Qwen3.6 35B-A3B	Größeres Mixture-of-Experts-Modell mit Multi-Token-Prediction	GPU mit 16 GB+; mehr Reserven machen es stabiler
Qwen3.8 Flash Next	Modell auf Frontier-Niveau	Braucht eine sehr große GPU
DeepSeek V4 Flash	Modell der Frontier-Klasse	Maschinen mit 128 GB+ Arbeitsspeicher

Bevor du etwas herunterlädst, wird jede Zeile gegen deine Maschine geprüft: Speicherpassung (grün = läuft komplett im GPU-Speicher, gelb = wird in den Arbeitsspeicher ausgelagert und läuft langsamer, rot = diese Maschine schafft es nicht), Context Window und Download-Größe. Hermes wählt den Build mit der höchsten Qualität, der vollständig in deine GPU passt – und bietet nie etwas unter einer 4-Bit-Quantisierung an, denn darunter ist der Qualitätsverlust zu gravierend. Eine Maschine, die den 4-Bit-Build nicht fassen kann, kann das Modell schlicht nicht ausführen – und das sagt sie dir auch.

Der Katalog ist ein kuratierter Ausgangspunkt, keine Grenze. „Weitere Modelle finden“ auf derselben Seite durchsucht ganz Hugging Face, mit einer dateigenauen Passungsprüfung für deine Maschine, noch bevor du herunterlädst. Du hast bereits eine .gguf-Datei auf der Platte? „Modelldatei hinzufügen“ verlinkt sie ohne Kopieren in deine Bibliothek, sofort nutzbar.

Speicherverwaltung: die Drecksarbeit, erledigt

Lokale Modelle stehen und fallen mit der Speicherplatzierung, deshalb übernimmt Hermes sie von Anfang bis Ende und bietet keine Stellschrauben an:

• Der Context Window startet in einer Größe, die vollständig in deine GPU passt und wächst Richtung nativem Maximum des Modells, sobald die Konversation mehr Platz braucht. Wenn du in langen Sitzungen „Context window grown“ im Status-Feed siehst, ist das genau dieses Wachstum – kein Fehler.
• Jedes empfohlene Modell bekommt einen Context Window von mindestens 64K. Ist ein Modell größer als dein GPU-Speicher, platziert Hermes den Überlauf bewusst so im Arbeitsspeicher, dass es am wenigsten wehtut (zuerst die Expert-Gewichte, niemals den Attention-Cache) – etwas Geschwindigkeit wird geopfert, um die Context-Garantie zu schützen.
• Komprimierung greift erst am maximalen Fenster des Modells. Wachstum kommt immer zuerst; deine Historie wird nie vorsorglich zusammengefasst.
• Modelle im Leerlauf werden nach 15 Minuten entladen, um GPU-Speicher freizugeben, und laden beim nächsten Befehl automatisch nach.

Willst du zusehen? Klicke mit der rechten Maustaste auf die Statusleiste und aktiviere Systemressourcen für Live-GPU-Auslastung, GPU-Speicher und RAM. Der Context-Meter zeigt immer das Fenster an, mit dem das Modell tatsächlich läuft.

Privatsphäre und Offline-Betrieb: Nach dem Download verlässt nichts mehr die Maschine

Das ist der Punkt lokaler Modelle, klar gesagt: kein Konto, kein API-Key und kein Netzwerkzugriff, sobald das Modell heruntergeladen ist. Prompts, Tool-Aufrufe, Code – alles bleibt lokal. Bei unveröffentlichtem Code, Verträgen oder medizinischen Daten ist das nicht „ein bisschen beruhigender“, sondern eine andere Kategorie: Die Anfrage verlässt deinen Computer nie.

Hermes respektiert außerdem Umgebungen, die Inference schon anderswo betreiben:

• Läuft auf deiner Maschine bereits ein llama-server, erkennt Hermes ihn und nutzt ihn, statt einen eigenen zu starten.
• Für volle manuelle Kontrolle zeigst du model.provider auf einen beliebigen OpenAI-kompatiblen Server.
• Für Ollama, MLX oder eigene Builds gibt es in der offiziellen Doku eigene Anleitungen zur Ollama-Einrichtung und zum Betrieb auf dem Mac.

Konfiguration: CLI und Headless-Maschinen

Die Desktop-Oberfläche schreibt die Config für dich, aber die Keys sind für CLI und Headless-Betrieb offen. Die verwaltete Runtime steuerst du über den Abschnitt local_runtime in der config.yaml:

local_runtime:
  enabled: true     # true = verwalteten Server zusammen mit Hermes starten
  backend: auto     # auto | cuda | metal | vulkan | hip | cpu
                    # auto = CUDA auf NVIDIA, Metal auf macOS, Vulkan auf anderen GPUs, sonst CPU

Modelle und Runtime-Builds liegen im Home-Verzeichnis von Hermes (models/ und runtimes/llamacpp/). Ein lokales Modell zum Hauptmodell zu machen nutzt die üblichen Einstellungen model.provider: llamacpp + model.default – dieselbe Form wie bei jedem anderen Provider, interaktiv wählbar mit hermes model.

Voraussetzungen und Release-Status

• Windows und Linux: NVIDIA-GPU (CUDA) oder CPU. macOS: Apple Silicon (Metal). Vulkan-Builds bedienen AMD-GPUs.
• Eine GPU mit 8 GB+ bringt die kleineren Katalogmodelle bequem zum Laufen; 16 GB+ schafft die 27–35B-Modelle in hoher Qualität.
• Downloads werden bytegenau gegen den Katalog geprüft; ein unvollständiger Download wird gelöscht und gemeldet, niemals halb verwendet. (ZIPs der Runtime-Engine werden per SHA-256 verifiziert.)

Eine ehrliche Einschränkung vorweg: Diese Fähigkeit kam über PR #100667 (die verwaltete Runtime selbst, gemergt am 1. September) und PR #101823 (der standardmäßig aktive Einstiegspunkt für macOS/Windows, gemergt am 3. September) ins Projekt. Sie lebt derzeit auf dem upstream-main und ist noch in keinem Release erschienen – sie ist neuer als v0.21.0. Um sie heute auszuprobieren, aktualisiere Hermes auf den neuesten main; auf dem Desktop stelle sicher, dass der Build beide Merges enthält. Für den Kontext, wohin sich das Agent-Produkt entwickelt, wirf einen Blick auf unsere Release-Notes zu v0.21.0 Pantheon und unseren Leitfaden zur Modellwahl.

Fazit: von „Kann es laufen?“ zu „Ein Klick“

Der eigentliche Fortschritt bei lokalen Modellen ist nicht, dass ein einzelnes Modell stärker geworden ist – sondern dass die Hürde verschwunden ist: Die Engine installiert sich selbst, der Build wählt sich selbst, der Speicher verwaltet sich selbst, und Modelle im Leerlauf entladen sich selbst. Was früher einen Nachmittag Tutorial-Lektüre gekostet hat, sind jetzt drei Klicks in den Einstellungen. Wenn du das nächste Mal irgendwo ohne Verbindung bist – oder vor Material sitzt, das du nicht der Cloud anvertrauen willst –, denk daran: Es gibt einen Agenten, der die ganze Zeit auf deiner Maschine gelebt hat. Er hat nur darauf gewartet, dass ihn jemand aufweckt. Starte mit der Installationsanleitung, und finde den Eintrag für lokale Modelle im Modell-Picker (Befehlsreferenz zu hermes model).