Table of Contents

Für Hermes-Aufgaben mit langem Kontext würde ich mit Qwen3.5 35B auf zwei RTX 5060 Ti mit je 16 GB beginnen. Die getestete Route behielt 239.153 Eingabetokens über LiteLLM und bestand getrennte Prüfungen für Werkzeuge, Streaming, Vision, Warteschlange und Abbruch. Qwen3.6 ist meine Ein-Karten-Alternative. Auf RTX-3060-Ti- und RTX-3070-Systemen würde ich mit Qwen3.5 2B oder 4B beginnen.

Diese Auswahl beruht auf Modellen in den Inferenzpfaden des Agenten. Ich prüfte lange Eingaben, Werkzeugrunden, gestreamte Antworten, Bildfragen und das Freigeben des Modells. Auch die Modi und Speichereinstellungen der Routen testete ich, denn ein erfolgreich geladenes Modell sagt wenig über seinen Nutzen bei einer langen Agentenanfrage aus.

Hermes benötigt für Agenten mit Werkzeugen mindestens 64.000 Kontexttokens. Als Schwelle für langen Kontext nutzte ich 65.536 tatsächlich verarbeitete Eingabetokens. Die Zahl der Eingabetokens zählt mehr als die vom Server beworbene Kontextgröße. ( Dokumentation der Hermes-Agent-Provider )

GPUs in den einzelnen Systemen

Die Systembuchstaben kennzeichnen diese Hardwarekombinationen in den Ergebnissen.

SystemGPUs für diesen BenchmarkMein Startmodell
A2 × GeForce RTX 5060 Ti, je 16 GBQwen3.5 35B auf beiden Karten oder Qwen3.6 auf einer Karte
B1 × RTX 2000E Ada, 16GBQwen3.5 9B, wenn mehrere Minuten Verarbeitung langer Eingaben zur Aufgabe passen
C1 × RTX 2000E Ada, 16GBGemma 3 4B für den getesteten Pfad mit langen Eingaben; Qwen3.5 0.8B ohne Denkmodus für gezielte Erinnerungsaufgaben
D1 × RTX 2000E Ada, 16GBQwen3.5 9B, Gemma 4 12B-IT oder GPT-OSS 20B für die getesteten Arbeitslasten mit größeren Modellen
E9 × GeForce RTX 3060 Ti, je 8 GBQwen3.5 2B oder 4B
F8 × GeForce RTX 3060 Ti, je 8 GBQwen3.5 2B oder 4B
G3 × GeForce RTX 3070Qwen3.5 2B oder 4B

Die Zahl installierter Karten bedeutet nicht, dass jede Anfrage alle GPUs nutzte. Die Tests mit Qwen3.5 35B und Flash Next verwendeten beide Karten in System A. Qwen3.6 nutzte eine Karte. Beim erfolgreichen Vision-Wiederholungstest mit Qwen3.5 4B in System E lief eine ausgewählte Karte aus einem Pool von acht, während eine neunte Karte von KI-Aufgaben ausgeschlossen blieb.

Die folgenden Laufzeiten sind Ergebnisse aus dem Zusammenspiel des getesteten Modells, der Laufzeitumgebung und des Systems. Sie vergleichen nutzbare Konfigurationen, isolieren aber nicht die GPU-Architektur als Ursache eines Geschwindigkeitsunterschieds.

Zwei RTX 5060 Ti machen Qwen3.5 35B zu meiner Wahl für langen Kontext

Qwen3.5 35B erzielte in diesen Tests die größte erhaltene Eingabe. Die direkte Ollama-Folge behielt 248.279 Eingabetokens in einem Laufzeitkontext von 262.144. Eine separate gestreamte Gateway-Anfrage behielt 239.153 Eingabetokens, gab die Startmarkierung zurück und endete nach 31 Ausgabetokens in 148,12 Sekunden regulär.

Das Gateway-Ergebnis ist für Hermes relevant, weil die Anfrage über Broker und LiteLLM lief. Separate Anfragen schlossen eine Werkzeugrunde ab, erkannten ein rotes Bild und lieferten zwei richtige Antworten, als beide zusammen gesendet wurden. Der Broker reihte sie ein. Beim Schließen des Streams gab der Broker die Anfrage frei und entlud das Modell innerhalb von 60,31 Sekunden.

Qwen3.5-35B-AnfrageEingabetokensAusgabetokensDauerErgebnis
Direktes Ollama, erste progressive Stufe69,4293138.783 sExakte Startmarkierung
Direktes Ollama, Fortsetzung mit gemeinsamem Präfix124,1793128.472 sExakte Startmarkierung
Direktes Ollama, Fortsetzung mit gemeinsamem Präfix182,5793138.974 sExakte Startmarkierung
Direktes Ollama, Fortsetzung mit gemeinsamem Präfix248,2793154.215 sExakte Startmarkierung
Streaming-Anfrage über den Broker69,4272938.872 sExakte Startmarkierung
Streaming-Anfrage über LiteLLM239,15331148.12 sExakte Startmarkierung, clean unload

Die fortlaufenden direkten Anfragen verwendeten ein wachsendes gemeinsames Präfix erneut. Ihre Zeiten beschreiben eine warme Fortsetzung. Die 54,215 Sekunden sind keine unabhängige Kaltmessung für einen neuen 248K-Prompt.

In der größten direkten Stufe meldete das Modell etwa 27,3 Milliarden Bytes Speicherbelegung auf beiden GPUs. Die Speicherspitzen je Karte erreichten 14.964 und 12.386 MiB.

Die Spitzentemperaturen erreichten 62 und 63 °C. Der Lauf verzeichnete weder OOM- noch Xid-Fehler. Im konfigurierten Kontext blieben 13.865 Tokens für eine Fortsetzung. Die kurze Markierungsantwort nutzte 31 davon.

Diese Route würde ich einsetzen, wenn ein großer Arbeitssatz wichtiger ist als die kürzeste erste Antwort. Werkzeug- und Vision-Prüfungen belegen nützliches Agentenverhalten, der Lang-Eingabetest belegt die Erhaltung. Es sind getrennte Arbeitslasten.

Qwen3.6 ist die Option mit einer Karte

Qwen3.6-35B-A3B UD-Q4_K_XL behielt 131.000 Eingabetokens auf einer RTX 5060 Ti. Die zweite Karte blieb während des Tests ungenutzt. Das ist eine nützliche Alternative, wenn nicht beide Karten einem Modell zugewiesen werden sollen.

Qwen3.6-GatewayanfrageEingabetokensAusgabetokensDauerErgebnis
Erste lange Anfrage66,007167.82 sStartmarkierung erhalten
Längere Anfrage90,00011159.92 sStartmarkierung erhalten, zero cached input
Längere Anfrage119,99911250.61 sStartmarkierung erhalten, zero cached input
Nahe der Laufzeitgrenze131,00011287.09 sStartmarkierung erhalten, zero cached input

Die Anfrage mit 131.000 Tokens näherte sich dem Laufzeitlimit von 131.072. Für einen Agenten würde ich mehr Platz für die Antwort und folgende Werkzeugnachrichten lassen. Ein Erhaltungstest nahe am Limit belegt die Eingabeverarbeitung, ist aber kein sinnvoller Standardwert für das Eingabebudget.

Die Werkzeugnutzung bestand bei deaktiviertem Denkmodus. Der Standardmodus verbrauchte das Testlimit von 512 Tokens, bevor er das Werkzeug aufrief. Der erfolgreiche Pilot bestand auch Schnell-, Streaming- und Vision-Anfragen. Der erste Kontexttest mit 65.845 Tokens dauerte 139,57 Sekunden.

Qwen3.8 27B gewinnt den Antwortvergleich mit gleichem 66K-Input

Bei derselben Markierungsaufgabe mit 66.007 Tokens auf System A lieferte Qwen3.8 27B die schnellste Antwort. Diese Route würde ich für Anfragen nahe der getesteten Eingabegröße verfügbar halten, Qwen3.5 35B für den größeren Arbeitssatz.

Route auf System AEingabetokensDauerErgebnis
Qwen3.8 27B66,00754.64 sStartmarkierung erhalten
Qwen3.6-35B-A3B UD-Q4_K_XL66,007167.82 sStartmarkierung erhalten
Qwen3.8-Flash-Next UD-IQ4_XS66,007164.58 sStartmarkierung erhalten
Flash Next IQ4 compatibility alias66,007213.25 sMarkierung erhalten

Qwen3.8 27B benötigte etwa ein Drittel der Laufzeit der vergleichbaren Qwen3.6- und Flash-Next-Anfragen. Das sind Beobachtungen vollständiger Anfragen in den getesteten Laufzeitumgebungen, kein reiner Hardwarevergleich.

Auch schnelle Antworten, Streaming und Werkzeugnutzung bestanden die Tests. Der Modus ohne Denken schloss die gesamte Farbfolge und Werkzeugrunde ab. Der Denkversuch gab innerhalb des Limits von 512 Tokens nur einen Teil der Farbfolge zurück.

Flash Next ist auf diesem System wegen des Speicherdrucks weniger attraktiv als Standard. Der Pilot mit 65.847 Tokens bestand in 201,41 Sekunden bei einem Laufzeitkontext von 98.304. Zwei frühere Profile mit Kontext 131.072 erreichten vor der Bereitschaft ihre Speichergrenzen.

Die spätere Route erreichte ihr cgroup-Limit von 54 GiB. Für unbeaufsichtigte Arbeit würde ich eine Route mit mehr Speicherreserve wählen.

Die Route mit dem Namen flash-iq2 nutzte das Flash-Next-IQ4-Kompatibilitätsbackend. Der Name bezeichnet kein IQ2-Ergebnis.

Die RTX 2000E Ada verarbeitet lange Eingaben, doch die Modellwahl verändert die Wartezeit

Gemma 3 4B ist meine bevorzugte getestete Route für lange Eingaben auf System C. Zwei Pfade behielten mehr als 84K Eingabetokens in etwa 88 Sekunden. Auch größere Modelle bestanden nützliche Erhaltungstests, ihre Anfragen dauerten jedoch mehrere Minuten.

SystemModell und PfadEingabetokensDauerErgebnis
BQwen3.5 9B, Gateway72,265263 sBeide Markierungen erhalten; spätere Mining-Wiederherstellungsprüfung bestanden
CGemma 3 4B, Gateway84,04488.05 sStartmarkierung erhalten
CGemma 3 4B, Aperture84,04587.68 sStartmarkierung erhalten
CGemma 4 12B-IT, Gateway67,254263.07 sStartmarkierung erhalten
CGemma 4 12B-IT, Aperture ohne Streaming67,255274.24 sStartmarkierung erhalten
CGemma 4 12B-IT, Aperture-Streaming67,255282.16 sStartmarkierung erhalten
CQwen3.5 9B, Gateway75,648319.36 sStartmarkierung erhalten, Modell aus dem Speicher entladen
CGPT-OSS 20B, Gateway84,099315.83 sStartmarkierung erhalten, Modell aus dem Speicher entladen
DQwen3.5 9B, Aperture81,051324.07 sErhaltung auf dem installierten Artefakt bestanden
DGemma 4 12B-IT, Aperture72,057300.67 sErhaltung auf dem installierten Artefakt bestanden
DGPT-OSS 20B, Aperture72,104245.94 sErhaltung auf dem installierten Artefakt bestanden

Streaming beseitigte das lange Prefill-Warten von Gemma 4 auf System C nicht. Der erste gestreamte Inhalt kam nach 277,49 Sekunden und damit später als die vollständige Antwort ohne Streaming nach 274,24 Sekunden. Ein früherer Versuch ohne Streaming lief vor der erfolgreichen Wiederholung in einen Timeout. Diese Route würde ich nur nutzen, wenn mehrere Minuten bis zur ersten Verarbeitung zum Auftrag passen.

Gemma 3 4B zeigt auch, warum die Qualifizierung auf das jeweilige getestete System beschränkt bleiben muss. System D verfehlte die Startmarkierung in zwei 65K-Abrufversuchen, darunter eine Wiederholung bei Temperatur null mit 67.252 Eingabetokens. Die deterministische Anfrage endete nach 62,07 Sekunden regulär bei voller GPU-Belegung.

Eine schnelle Antwort und eine normale API-Antwort machten das Ergebnis nicht richtig. Ich würde die erfolgreiche Route auf System C nutzen und die fehlgeschlagene System-D-Route aus der Hermes-Auswahl nehmen.

Der Denkmodus entscheidet, ob Qwen3.5 0.8B nützlich ist

Nach dem Deaktivieren des Denkmodus wurde Qwen3.5 0.8B auf System C ein nützlicher Kandidat für eng begrenzte Abrufe. Das kleine Q8_0-Modell behielt über das Gateway 75.649 Eingabetokens in 65,92 Sekunden. Das Ergebnis gilt für das getestete Q8_0-Artefakt und die Route ohne Denkmodus, nicht für die älteren 16K-Konfigurationen in der Tabelle.

Qwen3.5-0.8B-Anfrage auf System CEingabetokensAusgabetokensDauerErgebnis
Kurze Diagnose mit standardmäßigem Denken9,0503,39166.56 sExakte Startmarkierung
Denken deaktiviert, angeglichene Diagnose9,055217.65 sExakte Startmarkierung, no reasoning text
Langer Versuch mit standardmäßigem DenkenTimeout nach 600 sKeine abgeschlossene Antwort
Denken deaktiviert, natives Ollama75,6562269.80 sExakte Startmarkierung
OpenAI-kompatibler Endpunkt ohne Denken75,6461269.09 sExakte Startmarkierung
Broker mit erzwungenem Modus ohne Denken75,6471366.83 sExakte Startmarkierung
LiteLLM vom System A zum System C75,6491565.92 sExakte Startmarkierung

Die vergleichbare Diagnose sank von 66,56 auf 7,65 Sekunden und war damit etwa 8,7-mal schneller. Die erzeugte Ausgabe sank von 3.391 auf 21 Tokens. Für einfache Extraktions- und Routing-Aufgaben würde ich deshalb den Denkmodus ausdrücklich festlegen. Das Standarddenken verbrauchte den größten Teil der Arbeit für unnötige Ausgabe.

Eine kurze OpenAI-kompatible Probe verfehlte die Markierung, bevor die Wiederholung bei Temperatur null bestand. Die erfolgreichen Routen nutzten den Modus ohne Denken und einen natürlichen Abschluss ohne Ausgabelimit. Drei weitere Gateways bestanden kurze Markierungsanfragen in 4,22, 4,37 und 3,85 Sekunden. Diese Prüfungen belegen das Routing; die Anfrage mit 75.649 Tokens belegt die Erhaltung langer Eingaben über das Gateway.

Diese Route würde ich für begrenzte Abrufe und Extraktion ausprobieren. Für offenes Agenten-Denken würde ich ein größeres Modell wählen. Eine synthetische Markierung abzurufen ist enger gefasst als zu planen, zu programmieren oder mehrere Werkzeuge zu koordinieren.

Die RTX-3060-Ti- und RTX-3070-Systeme eignen sich für Qwen3.5 2B und 4B

Qwen3.5 2B und 4B sind meine praktischen Startmodelle für 8-GB-Karten. Ihre Text-Kontextanfragen auf System E, F und G bestanden mit 65.579 Eingabetokens und dauerten 30,343 bis 93,753 Sekunden. Die getesteten 4B-Routen bestanden auch Werkzeug-, Streaming- und Bildprüfungen.

Der 4B-Vision-Kontext-Wiederholungstest auf System E behielt beide Markierungen und die Reihenfolge der Bildfarben bei 65.637 Eingabetokens in 44,88 Sekunden. Auch Anfragen mit vorwärts und umgekehrt sortierten Farben bestanden. Der Test nutzte eine intakte Karte, nachdem eine andere einen Xid-79-Linkfehler erlitt und das System neu startete.

SystemQwen3.5-2B-TextkontextQwen3.5-4B-TextkontextQwen3.5-4B-Visionkontext
E, RTX 3060 Ti pool65,579 tokens, 30.343 s65,579 tokens, 53.787 s65,637 tokens, 44.88 s
F, RTX 3060 Ti pool65,579 tokens, 61.282 s65,579 tokens, 93.753 s65,635 tokens, 84.749 s
G, RTX 3070 pool65,579 tokens, 76.731 s65,579 tokens, 90.807 s65,635 tokens, 87.496 s

Jedes dieser Systeme verzeichnete 29 bestandene Prüfungen. Die Zeitspanne zwischen den beiden RTX-3060-Ti-Systemen zeigt außerdem, warum ich ein getestetes Systemprofil auswählen würde, statt Karten anhand dieser Anfragedauern zu sortieren.

Alle sieben Systeme kehrten nach dem Inferenzfenster zum Mining zurück. Die separate Wiederherstellungsprüfung nach dem Stopp auf System B bestand mit neuen akzeptierten Shares. Die fehlerhafte Karte in System E kehrte später nach einem Neustart und einer PCIe-Link-Härtung zum Mining zurück, blieb aber vom KI-Pool ausgeschlossen. Mining am Ende des Zeitfensters wiederherzustellen ist ein anderes Ergebnis als die automatische Rückgabe nach einer einzelnen Inferenzanfrage.

Ein geladenes Modell ist noch nicht qualifiziert

DeepSeek Coder V2 16B würde ich aus den getesteten 65K-Hermes-Optionen ausschließen. Der Lauf mit f16-Cache behielt 50.477 Eingabetokens, doch der 65K-Zielversuch erreichte die VRAM-Schutzgrenze. Q4- und Q8-Cache-Alternativen luden die Gewichte auf die GPUs und stießen danach an Host-Speichergrenzen oder erreichten bei langen Prompts einen schlechten Durchsatz.

DeepSeek-Coder-V2-CacheprofilLaufzeitkontextBeobachtetes ErgebnisMeine Einschätzung
f1681,920Abruf von 50.477 Tokens bestanden, übergroße Anfrage abgewiesenNützliches Ergebnis mit kürzerem Kontext
f1673,728Prefill für 65K-Ziel bei 15.802 MiB GPU-Nutzung gestopptQualifiziert nicht für 65K
Q4_098,304Das lange Pre-Fill sank vor dem kontrollierten Stopp auf 96.72 Token/sUngeeignet für diese Arbeitslast
Q8_077,824Das lange Pre-Fill sank vor dem kontrollierten Stopp auf 120.12 Token/sUngeeignet für diese Arbeitslast
Q4_0 / Q8_0, größere Profile163,840 / 98,304Host-Speicherschutz stoppte die TestsDie Speicherauslegung muss das ganze System berücksichtigen

Die praktische Lehre: Teste die Anfrage, die du senden willst. GPU-Belegung, eine kurze Antwort und ein großer konfigurierter Kontext belegen keine Erhaltung langer Eingaben bei brauchbarer Latenz.

Granite 4.2 8B und GPT-OSS 20B verbesserten sich nach routenspezifischer Nacharbeit auf System A. Granites Q6_K-Route behielt 66.082 Eingabetokens in 88,636 Sekunden bei null gecachtem Input. GPT-OSS schloss seine Werkzeugrunde nach der Brokerkorrektur ab: 9,854 Sekunden für den Aufruf und 9,849 für die Folgeanfrage. Diese bestandenen Routenprüfungen würde ich von früheren unvollständigen Versuchen trennen.

Vollständige Benchmark-Ergebnisse

Die Tabelle enthält 295 Prüfungen über 59 Modell-System-Kombinationen. Die Matrix verzeichnet 273 bestandene Prüfungen, einen fehlgeschlagenen Abruf und sieben unvollständige, inkonsistente oder inkompatible Ergebnisse. Vierzehn Prüfungen liegen außerhalb des 65K-Qualifizierungsbereichs. Jede Zeile zeigt das gemessene Ergebnis.

Meine Empfehlungen gelten für bestandene Routen und Arbeitslasten. Eine fehlgeschlagene oder unvollständige Zeile qualifiziert das betreffende Verhalten nicht.

Bestandene Kurzkontext- und Embedding-Tests gelten für ihre jeweiligen Arbeitslasten. Ein bestandener Kontext von 16K oder 32K qualifiziert eine Route nicht für Hermes mit 65.536 Eingabetokens. Modellnamen sind hier Routenbezeichnungen. flash-iq2 nutzte das IQ4-Kompatibilitätsbackend.

Die Kontextzeile für Qwen3.5 35B auf System A ist die letzte Stufe der gemeinsamen Präfixfolge oben. Werkzeugzeiten mit Pluszeichen zeigen Aufruf und Folge getrennt.

Die Parallelitätszeile nennt die Laufzeiten der beiden eingereihten Anfragen. Die Abbruchzeile zeigt die Freigabezeit nach dem Schließen des Streams durch den Client. Zusätzliche Kontextfolgen und Qwen3.5-0.8B-Routenvergleiche stehen in eigenen Tabellen weiter oben.

System A

Modell-RoutennamePrüfungErgebnisEingabetokensAnfragezeit
bonsai-2-27bcontextBestanden65,62188.746 s
bonsai-2-27bquickBestanden576.429 s
bonsai-2-27bstreamBestanden9.371 s
bonsai-2-27btoolsBestanden10.478 s
deepseek-coder-v2:16bcontextInkompatibel50,477
deepseek-coder-v2:16bquickBestanden7743.239 s
flash-iq2contextBestanden66,007213.25 s
flash-iq2quickBestanden56.03 s
flash-iq2streamBestanden1.35 s
flash-iq2toolsBestanden16.55 s
gemma-4-12b-itcontextBestanden65,59051.225 s
gemma-4-12b-itquickBestanden215.166 s
gemma-4-12b-itstreamBestanden4.653 s
gemma-4-12b-ittoolsBestanden18.72 s
gemma-4-12b-itvisionBestanden1157.222 s
gemma-4-12b-itvision_contextBestanden65,68556.06 s
gemma-4-12b-itvision_reverseBestanden1157.467 s
gemma-4-e4b-itcontextBestanden65,59021.889 s
gemma-4-e4b-itquickBestanden2117.919 s
gemma-4-e4b-itstreamBestanden4.25 s
gemma-4-e4b-ittoolsBestanden8.734 s
gpt-oss-20bcontextBestanden65,637159.155 s
gpt-oss-20bquickBestanden7310.548 s
gpt-oss-20bstreamBestanden20.594 s
gpt-oss-20btoolsBestanden9.854 + 9.849 s
granite-4.2-3bcontextBestanden65,58970.968 s
granite-4.2-3bquickBestanden204.009 s
granite-4.2-3bstreamBestanden5.365 s
granite-4.2-3btoolsBestanden6.086 s
granite-4.2-8bcontextBestanden66,08288.636 s
granite-4.2-8bquickBestanden205.857 s
granite-4.2-8bstreamBestanden11.826 s
granite-4.2-8btoolsBestanden11.852 s
qwen27bcontextBestanden66,00754.64 s
qwen27bquickBestanden5731.5 s
qwen27bstreamBestanden0.92 s
qwen27btoolsBestanden4.25 s
qwen3-embedding-0.6bcontextBestanden32,7677.736 s
qwen3-embedding-0.6bquickBestanden142.125 s
qwen3.5-0.8bcontextBestanden16,42910.5 s
qwen3.5-0.8bquickBestanden1714.316 s
qwen3.5-0.8bstreamBestanden2.125 s
qwen3.5-0.8btoolsBestanden4.416 s
qwen3.5-2bcontextBestanden65,58111.175 s
qwen3.5-2bquickBestanden174.519 s
qwen3.5-2bstreamBestanden3.736 s
qwen3.5-2btoolsBestanden5.046 s
qwen3.5-4bcontextBestanden65,57936.451 s
qwen3.5-4bquickBestanden1519.935 s
qwen3.5-4bstreamBestanden17.496 s
qwen3.5-4btoolsBestanden7.308 s
qwen3.5-4bvisionBestanden707.848 s
qwen3.5-4bvision_contextBestanden65,63528.24 s
qwen3.5-4bvision_reverseBestanden704.386 s
qwen3.5-9bcontextBestanden65,58134.139 s
qwen3.5-9bquickBestanden173.88 s
qwen3.5-9bstreamBestanden3.378 s
qwen3.5-9btoolsBestanden10.204 s
qwen3.5-9bvisionBestanden724.441 s
qwen3.5-9bvision_contextBestanden65,63733.745 s
qwen3.5-9bvision_reverseBestanden723.97 s
qwen3.5:35b-a3b-q4_K_McancellationBestanden60.31 s
qwen3.5:35b-a3b-q4_K_MconcurrencyBestanden26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_McontextBestanden248,27954.215 s
qwen3.5:35b-a3b-q4_K_MgatewayBestanden239,153148.12 s
qwen3.5:35b-a3b-q4_K_MquickBestanden7910.08 s
qwen3.5:35b-a3b-q4_K_MstreamBestanden69,42938.783 s
qwen3.5:35b-a3b-q4_K_MtoolsBestanden15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_MvisionBestanden18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XLcontextBestanden65,845139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XLquickBestanden153.97 s
Qwen3.6-35B-A3B UD-Q4_K_XLstreamBestanden0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XLtoolsBestanden2935.48 s
Qwen3.6-35B-A3B UD-Q4_K_XLvisionBestanden380.59 s
Qwen3.8-Flash-Next UD-IQ4_XScontextBestanden65,847201.41 s
Qwen3.8-Flash-Next UD-IQ4_XSquickBestanden1754.62 s
Qwen3.8-Flash-Next UD-IQ4_XSstreamBestanden1.2 s
Qwen3.8-Flash-Next UD-IQ4_XStoolsBestanden22.18 s
Qwen3.8-Flash-Next UD-IQ4_XSvisionBestanden3.86 s

System B

Modell-RoutennamePrüfungErgebnisEingabetokensAnfragezeit
gemma-4-12b-itcontextBestanden65,590299.163 s
gemma-4-12b-itquickBestanden2115.261 s
gemma-4-12b-itstreamBestanden148.792 s
gemma-4-12b-ittoolsBestanden34.124 s
gemma-4-12b-itvisionBestanden12061.455 s
gemma-4-12b-itvision_contextBestanden65,690295.581 s
gemma-4-12b-itvision_reverseBestanden12032.511 s
gemma3-4bcontextBestanden65,58467.382 s
gemma3-4bquickBestanden156.329 s
gemma3-4bstreamBestanden24.138 s
gemma3-4bvisionBestanden3067.018 s
gemma3-4bvision_contextBestanden65,87670.912 s
gemma3-4bvision_reverseBestanden3065.762 s
gpt-oss-20bcontextBestanden65,637206.767 s
gpt-oss-20bquickBestanden7216.583 s
gpt-oss-20bstreamBestanden32.075 s
gpt-oss-20btoolsBestanden28.102 s
nomic-embed-textcontextUnvollständig2,048
nomic-embed-textquickBestanden7.117 s
qwen3-14bcontextUnvollständig1800.09 s
qwen3-14bquickBestanden1537.199 s
qwen3-14bstreamBestanden35.471 s
qwen3-14btoolsBestanden87.554 s
qwen3-8bcontextAußerhalb 65K-Bereich, ausgeschlossen
qwen3-8bquickAußerhalb 65K-Bereich, bestanden1521.059 s
qwen3-8bstreamAußerhalb 65K-Bereich, ausgeschlossen
qwen3-8btoolsAußerhalb 65K-Bereich, ausgeschlossen
qwen3.5-9bcontextBestanden65,579282.796 s
qwen3.5-9blitellm_long_routeBestanden72,265263 s
qwen3.5-9bpost_external_stop_miningBestanden
qwen3.5-9bquickBestanden1525.881 s
qwen3.5-9bstreamBestanden143.44 s
qwen3.5-9btoolsBestanden31.812 s
qwen3.5-9bvisionBestanden7532.015 s
qwen3.5-9bvision_contextBestanden65,640396.288 s
qwen3.5-9bvision_reverseBestanden7528.626 s

System C

Modell-RoutennamePrüfungErgebnisEingabetokensAnfragezeit
gemma-4-12b-itaperture_contextBestanden67,255274.24 s
gemma-4-12b-itaperture_shortBestanden3539.32 s
gemma-4-12b-itaperture_stream_contextBestanden67,255282.16 s
gemma-4-12b-itcontextBestanden65,670313.661 s
gemma-4-12b-itgateway_contextBestanden67,254263.07 s
gemma-4-12b-itgateway_shortBestanden2720.98 s
gemma-4-12b-itquickBestanden2116.447 s
gemma-4-12b-itstreamBestanden15.175 s
gemma-4-12b-ittoolsBestanden37.821 s
gemma-4-12b-itvisionBestanden12058.52 s
gemma-4-12b-itvision_contextBestanden65,690308.759 s
gemma-4-12b-itvision_reverseBestanden12031.25 s
gemma3-4baperture_contextBestanden84,04587.68 s
gemma3-4baperture_after_system_d_route_changeBestanden245.42 s
gemma3-4baperture_shortBestanden225.45 s
gemma3-4baperture_streamBestanden3.72 s
gemma3-4bcontextBestanden65,66467.543 s
gemma3-4bgateway_contextBestanden84,04488.05 s
gemma3-4bgateway_short_via_system_aBestanden3.16 s
gemma3-4bgateway_short_via_system_eBestanden
gemma3-4bgateway_short_via_system_fBestanden4.15 s
gemma3-4bgateway_short_via_system_gBestanden6.06 s
gemma3-4bquickBestanden155.163 s
gemma3-4bstreamBestanden24.691 s
gemma3-4bvisionBestanden3067.318 s
gemma3-4bvision_contextBestanden65,87672.476 s
gemma3-4bvision_reverseBestanden3065.831 s
gpt-oss-20bcontextBestanden65,716216.594 s
gpt-oss-20bgateway_contextBestanden84,099315.83 s
gpt-oss-20bgateway_shortInkonsistent
gpt-oss-20bquickBestanden7221.603 s
gpt-oss-20bstreamBestanden31.957 s
gpt-oss-20btoolsBestanden26.096 s
nomic-embed-textcontextAußerhalb 65K-Bereich, unvollständig2,048
nomic-embed-textquickAußerhalb 65K-Bereich, bestanden4.178 s
qwen3-14bcontextAußerhalb 65K-Bereich, unvollständig1800.06 s
qwen3-14bquickAußerhalb 65K-Bereich, bestanden1535.809 s
qwen3-14bstreamAußerhalb 65K-Bereich, bestanden35.43 s
qwen3-14btoolsAußerhalb 65K-Bereich, bestanden87.723 s
qwen3-8bcontextAußerhalb 65K-Bereich, ausgeschlossen
qwen3-8bquickAußerhalb 65K-Bereich, bestanden1521.293 s
qwen3-8bstreamAußerhalb 65K-Bereich, unvollständig900.01 s
qwen3-8btoolsAußerhalb 65K-Bereich, ausgeschlossen
qwen3.5-9bcontextBestanden65,662287.984 s
qwen3.5-9bgateway_contextBestanden75,648319.36 s
qwen3.5-9bgateway_shortBestanden2172.14 s
qwen3.5-9bquickBestanden1524.635 s
qwen3.5-9bstreamBestanden143.157 s
qwen3.5-9btoolsBestanden30.395 s
qwen3.5-9bvisionBestanden7527.756 s
qwen3.5-9bvision_contextBestanden65,640398.797 s
qwen3.5-9bvision_reverseBestanden7528.645 s

System D

Modell-RoutennamePrüfungErgebnisEingabetokensAnfragezeit
gemma-4-12b-itcontextBestanden65,590275.395 s
gemma-4-12b-itexact_digest_aperture_65kBestanden72,057300.67 s
gemma-4-12b-itexact_digest_broker_shortBestanden3430.74 s
gemma-4-12b-itquickBestanden2115.05 s
gemma-4-12b-itstreamBestanden14.722 s
gemma-4-12b-ittoolsBestanden33.869 s
gemma-4-12b-itvisionBestanden12056.315 s
gemma-4-12b-itvision_contextBestanden65,690282.174 s
gemma-4-12b-itvision_reverseBestanden12029.978 s
gemma3-4bcontextBestanden65,58463.564 s
gemma3-4bexact_digest_65k_recallFehlgeschlagen67,25262.07 s
gemma3-4bquickBestanden155.151 s
gemma3-4bstreamBestanden22.552 s
gemma3-4bvisionBestanden3068.276 s
gemma3-4bvision_contextBestanden65,87667.575 s
gemma3-4bvision_reverseBestanden3065.651 s
gpt-oss-20bcontextBestanden65,637189.07 s
gpt-oss-20bexact_digest_aperture_65kBestanden72,104245.94 s
gpt-oss-20bexact_digest_broker_shortBestanden8415.96 s
gpt-oss-20bquickBestanden7215.431 s
gpt-oss-20bstreamBestanden31.052 s
gpt-oss-20btoolsBestanden23.65 s
nomic-embed-textcontextUnvollständig2,048
nomic-embed-textquickBestanden2.798 s
qwen3-14bcontextUnvollständig40,939872.209 s
qwen3-14bquickBestanden1536.021 s
qwen3-14bstreamBestanden33.491 s
qwen3-14btoolsBestanden82.471 s
qwen3-8bcontextUnvollständig1800.07 s
qwen3-8bquickBestanden1519.283 s
qwen3-8bstreamBestanden19.401 s
qwen3-8btoolsBestanden65.054 s
qwen3.5-9bcontextBestanden65,579258.048 s
qwen3.5-9bexact_digest_aperture_65kBestanden81,051324.07 s
qwen3.5-9bexact_digest_broker_shortBestanden2994.48 s
qwen3.5-9bquickBestanden1527.16 s
qwen3.5-9bstreamBestanden28.62 s
qwen3.5-9btoolsBestanden28.129 s
qwen3.5-9bvisionBestanden7525.047 s
qwen3.5-9bvision_contextBestanden65,640369.477 s
qwen3.5-9bvision_reverseBestanden7527.602 s

System E

Modell-RoutennamePrüfungErgebnisEingabetokensAnfragezeit
gemma-4-e4b-itcontextBestanden65,59049.086 s
gemma-4-e4b-itquickBestanden2123.911 s
gemma-4-e4b-itstreamBestanden28.136 s
gemma-4-e4b-ittoolsBestanden56.756 s
granite-4.0-h-tinycontextBestanden65,566
granite-4.0-h-tinyquickBestanden3510.408 s
granite-4.0-h-tinystreamBestanden27.798 s
granite-4.0-h-tinytoolsBestanden43.304 s
granite-4.2-3bcontextBestanden65,5891014.03 s
granite-4.2-3bquickBestanden2014.569 s
granite-4.2-3bstreamBestanden6.948 s
granite-4.2-3btoolsBestanden56.376 s
qwen3-embedding-0.6bcontextBestanden32,76720.387 s
qwen3-embedding-0.6bquickBestanden149.592 s
qwen3.5-0.8bcontextBestanden16,4299.128 s
qwen3.5-0.8bquickBestanden17452.417 s
qwen3.5-0.8bstreamBestanden11.163 s
qwen3.5-0.8btoolsBestanden39.214 s
qwen3.5-2bcontextBestanden65,57930.343 s
qwen3.5-2bquickBestanden1512.509 s
qwen3.5-2bstreamBestanden26.165 s
qwen3.5-2btoolsBestanden42.056 s
qwen3.5-4bcontextBestanden65,57953.787 s
qwen3.5-4bquickBestanden1526.736 s
qwen3.5-4bstreamBestanden26.02 s
qwen3.5-4btoolsBestanden57.293 s
qwen3.5-4bvisionBestanden7210.09 s
qwen3.5-4bvision_contextBestanden65,63744.88 s
qwen3.5-4bvision_reverseBestanden729.96 s

System F

Modell-RoutennamePrüfungErgebnisEingabetokensAnfragezeit
gemma-4-e4b-itcontextBestanden65,59098.443 s
gemma-4-e4b-itquickBestanden2127.51 s
gemma-4-e4b-itstreamBestanden28.042 s
gemma-4-e4b-ittoolsBestanden73.891 s
granite-4.0-h-tinycontextBestanden65,59919.692 s
granite-4.0-h-tinyquickBestanden3543.818 s
granite-4.0-h-tinystreamBestanden27.296 s
granite-4.0-h-tinytoolsBestanden75.377 s
granite-4.2-3bcontextBestanden65,589145.179 s
granite-4.2-3bquickBestanden2015.703 s
granite-4.2-3bstreamBestanden35.482 s
granite-4.2-3btoolsBestanden52.539 s
qwen3-embedding-0.6bcontextBestanden32,76720.656 s
qwen3-embedding-0.6bquickBestanden148.122 s
qwen3.5-0.8bcontextBestanden16,42913.326 s
qwen3.5-0.8bquickBestanden17445.22 s
qwen3.5-0.8bstreamBestanden13.266 s
qwen3.5-0.8btoolsBestanden40.825 s
qwen3.5-2bcontextBestanden65,57961.282 s
qwen3.5-2bquickBestanden1516.738 s
qwen3.5-2bstreamBestanden25.29 s
qwen3.5-2btoolsBestanden47.444 s
qwen3.5-4bcontextBestanden65,57993.753 s
qwen3.5-4bquickBestanden1533.039 s
qwen3.5-4bstreamBestanden25.658 s
qwen3.5-4btoolsBestanden71.731 s
qwen3.5-4bvisionBestanden7043.053 s
qwen3.5-4bvision_contextBestanden65,63584.749 s
qwen3.5-4bvision_reverseBestanden7027.518 s

System G

Modell-RoutennamePrüfungErgebnisEingabetokensAnfragezeit
gemma-4-e4b-itcontextBestanden65,59092.696 s
gemma-4-e4b-itquickBestanden2138.329 s
gemma-4-e4b-itstreamBestanden43.549 s
gemma-4-e4b-ittoolsBestanden66.616 s
granite-4.0-h-tinycontextBestanden65,59969.777 s
granite-4.0-h-tinyquickBestanden3533.17 s
granite-4.0-h-tinystreamBestanden31.751 s
granite-4.0-h-tinytoolsBestanden63.338 s
granite-4.2-3bcontextBestanden65,589100.849 s
granite-4.2-3bquickBestanden2023.355 s
granite-4.2-3bstreamBestanden28.75 s
granite-4.2-3btoolsBestanden44.226 s
qwen3-embedding-0.6bcontextBestanden32,76723.055 s
qwen3-embedding-0.6bquickBestanden148.924 s
qwen3.5-0.8bcontextBestanden16,42916.74 s
qwen3.5-0.8bquickBestanden17504.813 s
qwen3.5-0.8bstreamBestanden15.095 s
qwen3.5-0.8btoolsBestanden36.672 s
qwen3.5-2bcontextBestanden65,57976.731 s
qwen3.5-2bquickBestanden1520.949 s
qwen3.5-2bstreamBestanden25.194 s
qwen3.5-2btoolsBestanden37.552 s
qwen3.5-4bcontextBestanden65,57990.807 s
qwen3.5-4bquickBestanden1541.84 s
qwen3.5-4bstreamBestanden40.812 s
qwen3.5-4btoolsBestanden54.999 s
qwen3.5-4bvisionBestanden7029.619 s
qwen3.5-4bvision_contextBestanden65,63587.496 s
qwen3.5-4bvision_reverseBestanden7026.283 s

So habe ich die Hermes-Eignung getestet

Ich setzte eine synthetische Markierung nahe an den Anfang eines langen Prompts und fragte sie nach dem Fülltext ab. Die Antwort musste den erwarteten Wert enthalten. Der Server bestimmte mit seiner Zahl an Eingabetokens die Anfragengröße. Ein Modell, das nach einer großen Eingabe normal antwortete, scheiterte trotzdem bei einer falschen Startmarkierung.

Die Qwen3.5-35B-Folge nutzte nummerierte Fülldatensätze, Temperatur 0 und wachsende Längen von 3.800, 6.800, 10.000 und 13.600 Datensätzen. Diese Stufen lieferten 69.429, 124.179, 182.579 und 248.279 Prompttokens. Das Modell blieb zwischen den Stufen geladen, sodass es das Präfix wiederverwenden konnte. Die separaten Qwen3.6-Grenztests meldeten null gecachte Tokens.

Der lange 0.8B-Prompt wiederholte river stone lantern orchard circuit velvet compass marble 8.400-mal zwischen einem Antwortschlüssel am Anfang und der abschließenden Abruffrage. Der native Lauf nutzte think:false, num_ctx:131072, stream:false und keep_alive:0. Die OpenAI-kompatible Route nutzte reasoning_effort:"none". Der Broker erzwang den Modus ohne Denken.

Werkzeug-, Vision- und Freigabeprüfungen

Werkzeugtests prüften die Anfrage und die Antwort nach Rückgabe des Werkzeugergebnisses. Ein einfacher Test nutzte add_numbers(7, 11) und erwartete 18. Der Qwen3.5-35B-Test nutzte lookup_square und erwartete 49. GPT-OSS fragte einen Bestand ab und musste das Ergebnis einbeziehen.

Visionprüfungen nutzten Fragen zu roten und blauen Bildern, umgekehrte Bildreihenfolge und lange Prompts mit Bildfarben sowie Start- und Endmarkierungen. Der Qwen3.5-35B-Test nutzte ein rotes PNG mit 256 × 256 Pixeln. Vor dem erfolgreichen Lauf musste der Broker die Bildinhaltskonvertierung korrigieren. Der lange 4B-Vision-Test auf System E erforderte beide Markierungen und die richtige Farbreihenfolge.

Während der langen Läufe prüfte ich GPU-Speicher, Modellbelegung, Temperaturen, Host-Speicherdruck, OOM-Ereignisse und GPU-Fehler. Die Qwen3.5-35B-Schutzprüfung kontrollierte auch die Freigabe nach einem kontrollierten Abbruch. Spätere Client-Abbruch- und Warteschlangenprüfungen testeten den Brokerpfad. Zwei eingereihte Anfragen belegen die Verarbeitung unter der getesteten Last, nicht zwei unabhängige gleichzeitige GPU-Backends.

Leistungsergebnisse lesen

Anfragezeiten enthalten das Prefill der langen Eingabe und die Antwort. Sie sind keine generierten Tokens pro Sekunde. Beim Streaming zählt die Verzögerung bis zum ersten Inhalt; gecachte Präfixfolgen brauchen eine eigene Einordnung.

Die erfolgreichen Nachtests größerer Modelle auf System A und C nutzten eigene Inferenzfenster mit inaktivem Mining. Die Modelle wurden nach den Anfragen entladen. Das Mining wurde am Ende des Fensters auf allen sieben Systemen wiederhergestellt. Diese Ergebnisse beschreiben den Modelldienst während eines Inferenzfensters, nicht gleichzeitiges Mining und Inferieren.

In den Tests genutzte Backendprofile

Wähle das Profil für die Arbeitslast, die du nachstellen willst. Quantisierung, Laufzeitkontext, Cachetyp, Denkmodus und GPU-Platzierung beeinflussen das Ergebnis.

System und ModellGetestetes Backendprofil
A, Qwen3.5 35B-A3B Q4_K_MOllama 0.34.2, f16-KV-Cache, beide 16-GB-RTX-5060-Ti-Karten, 64 GiB Host-RAM und Laufzeitkontext 262.144 für die große Progression. Native Anfragen nutzten think:false, Temperatur 0, Streaming und fünf Minuten Keep-alive zwischen Stufen. Gateway-Anfragen liefen über Broker und LiteLLM. Kein Ausgabelimit.
A, Qwen3.8 27Bllama.cpp bei Bedarf über Broker und LiteLLM, Laufzeitkontext 262.144, ein Inferenzslot, Q4-K/V-Cache und beide RTX 5060 Ti. Die Anfrage mit 66.007 Token hatte kein Ausgabelimit.
A, Qwen3.6-35B-A3B UD-Q4_K_XLStrata 0.1.48, Kontext 131.072, INT8-KV-Cache, eine ausgewählte GPU, Prozessgruppen-Speicherlimit 55 GiB, Laufzeitlimit 30 Minuten, verzögertes Laden und Entladen nach 60 Sekunden Leerlauf. Lange Pilotantwort: 217 Ausgabetoken. Gateway-Antwort nahe dem Limit: 11 Ausgabetoken, kein Ausgabelimit.
A, Qwen3.8-Flash-Next UD-IQ4_XSStrata 0.1.48, Kontext 98.304, Q4-KV-Cache, 8 GiB residenter Experten-Cache und beide RTX 5060 Ti. Speicherlimit des Piloten 52 GiB, spätere Route 54 GiB. Lange Pilotantwort: 10 Ausgabetoken. Frühere größere Kontext-/Cache-Kombinationen stoppten an Speicherlimits.
A, Granite 4.2 8BQ6_K-GGUF-Gewichte, geteilter llama.cpp-Arbeitsprozess, Kontext 131.072, Q4_0-K/V-Cache und --n-predict -1. Die lange Anfrage nutzte Temperatur 0 und gestreamte Nutzungsdaten, ohne Ausgabelimit.
A, DeepSeek Coder V2 16BQ4_0-GGUF-Gewichte, Ollama 0.34.2, zwei RTX 5060 Ti, 64 GiB Host-RAM. Getrennte f16-, Q4_0- und Q8_0-Cache-Tests verwendeten die in der Vergleichstabelle gezeigten Laufzeitkontexte. Kein Ausgabelimit.
B, C, D, geprüfter Ollama-DienstOllama 0.34.2, Kontext 131.072, Parallelität 1, ein geladenes Modell, Warteschlangengröße 128, Keep-alive 0, Flash Attention und Q4_0-KV-Cache.
B, Qwen3.5 9B Gateway-TestLiteLLM-Routen-Timeout 1.800 Sekunden, keine Wiederholungen, keine Kontext- oder Ausgabetoken-Grenze. Beide Markierungen blieben bei 72.265 Eingabetoken erhalten. Die separate Prüfung der Mining-Wiederherstellung wurde bestanden.
C, Qwen3.5 0.8BQ8_0-Gewichte auf einer RTX 2000E Ada mit 30-W-Leistungsprofil. Laufzeitkontext 131.072. Natives think:false, OpenAI-kompatibles reasoning_effort:"none", kein Ausgabelimit. Der Broker-Alias fixierte den Laufzeitkontext und erzwang den Modus ohne Denken.
C, Gemma 4 12B-ITOllama-Profil mit einer GPU, Laufzeitkontext 131.072 und gestreamte sowie nicht gestreamte Aperture-Anfragen ohne Ausgabelimit. Der direkte Aperture-Lauf erreichte im konfigurierten 30-W-Profil 75 C und 30,64 W und entlud das Modell danach.
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20BExakte installierte Artefakte, über Aperture getestet, Laufzeitkontext 131.072, vollständige Belegung einer GPU und natürliche Fertigstellung ohne Ausgabelimit.
E, F, G, llama.cpp-ChatprozesseBuild 11669, 99 GPU-Layer, Parallelität 1, Flash Attention, Q4_0-K/V-Cache und --n-predict -1. Der Laufzeitkontext variierte je nach Modellfamilie.

Die aufgezeichneten Dienstprofile beschreiben jeweils ihre eigene Laufzeitkonfiguration. Das separat getestete Qwen3.5-35B-Profil mit f16-Cache auf System A übernimmt nicht die Q4_0-Cache-Einstellungen der kleineren Ollama-Systeme.

Modellfingerabdrücke der neuen Tests mit erhaltener Eingabe

Diese Modellkennungen unterscheiden die getesteten Artefakte von anderen Downloads oder Aliasen mit ähnlichen Namen.

ArtefaktQuantisierungErfasster Digest oder Datei-SHA-256
Qwen3.5 35B-A3B Ollama tagQ4_K_M72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Qwen3.5 0.8B base Ollama tagQ8_0de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Granite 4.2 8B GGUF fileQ6_K5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

Ollama-Manifest-Digests und SHA-256-Werte der Gewichtedateien kennzeichnen unterschiedliche Objekte. Ordne die Kennung dem Artefakttyp in der Tabelle zu.

Was ich mit Hermes einsetzen würde

Qwen3.5 35B würde ich zur Hauptroute für hohen Kontext auf dem System mit zwei RTX 5060 Ti machen. Die Gateway-Erhaltung von 239.153 Tokens, separate bestandene Werkzeug- und Visionprüfungen sowie die bestätigte Freigabe sind aussagekräftiger als ein beworbenes großes Kontextfenster. Qwen3.8 27B würde ich für die schnellere Antwort bei 66K behalten, Qwen3.6 für Fälle, in denen eine Karte wichtig ist.

Auf RTX-2000E-Ada-Systemen würde ich für die getestete Lang-Eingabe-Antwortlast die bestätigte Gemma-3-4B-Route auf System C wählen. Die Qwen3.5-0.8B-Route ohne Denken würde ich für eng begrenzte Abrufe und Extraktion testen. Größere Gemma-, Qwen- und GPT-OSS-Routen eignen sich, wenn eine erste Antwort nach vier bis fünf Minuten akzeptabel ist. Die fehlgeschlagene Gemma-3-Route auf System D würde ich ausschließen.

Für 8-GB-Karten RTX 3060 Ti und RTX 3070 würde ich mit Qwen3.5 2B oder 4B beginnen. Die 65K-Textergebnisse und 4B-Bildprüfungen stützen eine brauchbare Startkonfiguration, ohne für jede Anfrage die beiden 16-GB-Karten zu nutzen. Flash Nexts Speicherdruck und DeepSeek Coder V2s unvollständiges 65K-Verhalten machen sie auf den getesteten Profilen zu schwächeren Standardoptionen.

Die Tests stützen diese Modell- und Systemauswahl für bestimmte Abläufe. Erhaltene Eingaben, ein korrekter Werkzeugzyklus, Bilderkennung und sauberes Freigeben beantworten unterschiedliche Teile der Hermes-Eignung. Ein zuverlässiger Aufbau braucht die Verhaltensweisen des Agenten und genug Kontext für Antwort und Werkzeugverkehr.

Quellen und weiterführende Lektüre