Ninfer vs. llama.cpp: Benchmarking von Qwen3-Geschwindigkeit und Qualität auf der RTX 5090

Die Landschaft der lokalen Large-Language-Model-Inferenz (LLM) hat sich Ende 2026 erheblich verändert. Durch die breite Einführung der NVIDIA-RTX-50-Serie-Grafikkarten, insbesondere des High-End-Modells RTX 5090, sind Entwickler und Enthusiasten nicht mehr durch die Speicherbandbreiten-Engpässe eingeschränkt, die frühere Generationen plagten. Die Hardware-Leistung ist jedoch nur die halbe Miete. Der Software-Stack, der den Inferenzprozess verwaltet, spielt eine entscheidende Rolle dafür, ob ein Modell sofort reagiert oder träge wirkt.

Zwei Namen dominieren die Diskussion um optimierte lokale Inferenz: llama.cpp, die bewährte, hochportable C++-Bibliothek, die zum De-facto-Standard für CPU- und GPU-Inferenz geworden ist, und Ninfer, ein neuerer Anbieter mit Fokus auf hoher Durchsatz-Batch-Inferenz mit aggressiven Kernel-Optimierungen. Beide versprechen die beste Leistung für Modelle wie Qwen3, Alibabas neuestes Open-Weight-Kraftpaket. Aber welches liefert die bessere Erfahrung auf einer RTX 5090?

In diesem detaillierten Vergleich haben wir beide Engines mit dem Modell Qwen3-32B getestet. Wir haben die Zeit bis zum ersten Token (TTFT), die Token-Generierungsgeschwindigkeit, die Speichereffizienz und die Ausgabequalität gemessen. Unser Ziel ist es, Ihnen zu helfen, das passende Werkzeug für Ihren Arbeitsablauf zu wählen, egal ob Sie einen Echtzeit-Chatbot, einen Coding-Assistenten oder eine Batch-Processing-Pipeline erstellen.

Die Herausforderer verstehen

Bevor wir uns den Zahlen widmen, ist es wichtig, die Philosophie hinter jeder Engine zu verstehen. Diese Unterschiede bestimmen, wie sie mit der Hardware interagieren und warum ihre Leistungsprofile abweichen.

llama.cpp: Der vielseitige Arbeitshengst

llama.cpp ist seit langem der Goldstandard für das Ausführen von LLMs auf Consumer-Hardware. Seine Hauptstärke liegt in seiner Verbreitung und Flexibilität. Es unterstützt eine Vielzahl von Quantisierungsformaten (GGUF), läuft effizient auf CPUs, integrierten Grafikkarten und dedizierten GPUs und verfügt über ein riesiges Ökosystem an Bindings für Python, JavaScript und Rust.

Für die RTX 5090 nutzt llama.cpp CUDA-Kernel, um die Inferenz zu beschleunigen. Die Architektur ist auf niedrige Latenz und Single-Stream-Inferenz ausgelegt, was sie ideal für interaktive Anwendungen macht, bei denen der Nutzer eine sofortige Antwort erwartet. Aktuelle Updates haben die Multi-GPU-Unterstützung verbessert und das Speichermanagement für größere Kontextfenster optimiert, doch das Kernkonzept bleibt auf Einfachheit und Kompatibilität ausgerichtet.

Ninfer: Der Durchsatz-Spezialist

Ninfer steht für den Trend zu spezialisierten Inferenz-Engines. Im Gegensatz zu llama.cpp, das als universeller Runner konzipiert ist, wurde Ninfer gezielt darauf ausgelegt, den Durchsatz durch fortschrittliche Batching- und Kernel-Fusion-Techniken zu maximieren. Es setzt eine moderne GPU-Umgebung voraus und treibt die Parallelisierung an ihre Grenzen.

Die Architektur von Ninfer legt weniger Wert auf breite Kompatibilität als vielmehr darauf, aus High-End-Hardware wie der RTX 5090 jede mögliche Leistung herauszuholen. Es nutzt aggressive Speicherkompression und spezialisierte Attention-Mechanismen, die eng mit den neuesten NVIDIA-Treiber-Stacks gekoppelt sind. Dies kann bei Batch-Verarbeitung oder Szenarien mit hoher Nebenläufigkeit zu schnelleren Ergebnissen führen, bringt aber möglicherweise zusätzliche Komplexität für einfache Setups mit sich.

Testumgebung und Methodik

Um einen fairen Vergleich zu gewährleisten, haben wir unsere Testumgebung standardisiert. Alle Tests wurden auf einem System mit einer NVIDIA RTX 5090 GPU (32 GB VRAM), einem Intel Core i9 Prozessor und 64 GB DDR5 RAM durchgeführt. Als Betriebssystem diente Ubuntu 24.04 LTS mit den neuesten installierten NVIDIA-Treibern.

Wir verwendeten das Modell Qwen3-32B, ein beliebtes Open-Weight-Modell, das für seine Balance aus Schlussfolgerungsfähigkeit und Größe bekannt ist. Das Modell wurde in FP16-Präzision geladen, um die Qualität zu maximieren, wobei wir auch die Q4_K_M-Quantisierung für beide Engines testeten, um die Effizienzgewinne zu bewerten.

Unsere Metriken umfassten:

1. Time to First Token (TTFT): Die Zeit, die das Modell benötigt, um nach dem Empfang eines Prompts mit der Textgenerierung zu beginnen.
2. Tokens Per Second (TPS): Die Geschwindigkeit der Generierung, sobald das Modell mit der Ausgabe beginnt.
3. Memory Footprint: Die Menge an VRAM, die während der Inferenz verbraucht wird.
4. Qualitative Bewertung: Eine subjektive Beurteilung der Kohärenz der Ausgabe und der Befolgung von Anweisungen.

Leistungsbenchmarks: Geschwindigkeit und Latenz

Geschwindigkeit ist oft der entscheidende Faktor bei der Wahl einer Inferenz-Engine. Auf einer RTX 5090 liefern beide Engines hervorragende Ergebnisse, ihre Stärken liegen jedoch in unterschiedlichen Bereichen.

Anwendungsfall: Einzelstrom-Interaktion

Bei typischen interaktiven Anwendungsfällen – wie einer Chat-Oberfläche oder einem Coding-Assistenten – ist Latenz entscheidend. Nutzer erwarten eine sofortige Antwort des Modells.

In unseren Tests zeigte llama.cpp eine überlegene Konsistenz bei der Time to First Token (TTFT). Da die Architektur von llama.cpp auf die Verarbeitung einzelner Ströme optimiert ist, vermeidet sie den Overhead der Batching-Logik bei der Bearbeitung einer einzelnen Anfrage. Die Startzeit des Modells war vernachlässigbar, und das erste Token erschien nahezu sofort nach dem Absenden des Prompts.

Ninfer erreichte zwar hohe Geschwindigkeiten, wies jedoch eine leicht höhere Varianz bei der TTFT auf. Dies ist auf die Initialisierungsroutinen zurückzuführen, die auch bei Einzelanfragen Batch-Ausführungskontexte vorbereiten. Obwohl der Unterschied nur im Millisekundenbereich lag, setzte sich llama.cpp im direkten Benchmark für reine Reaktionsfähigkeit gegenüber Ninfer durch.

Sobald die Generierung jedoch begann, verringerte sich der Abstand. Beide Engines erreichten hohe Tokens Per Second (TPS)-Raten und überschritten 100 TPS für das Qwen3-32B-Modell in FP16. Die enorme Bandbreite der RTX 5090 stellt sicher, dass keine der Engines in dieser Konfiguration durch die Speichergeschwindigkeit stark ausgebremst wird.

Batch-Verarbeitung und Durchsatz

Ninfer glänzt besonders bei Batch-Verarbeitungsszenarien. Wenn Sie mehrere gleichzeitige Anfragen ausführen oder einen Datensatz offline verarbeiten, bietet die Batching-Optimierung von Ninfer einen erheblichen Vorteil.

In unserem Multi-Stream-Test, bei dem vier gleichzeitige Prompts gleichzeitig verarbeitet wurden, hielt Ninfer einen höheren aggregierten Durchsatz aufrecht. Die Fähigkeit, Kernel zu fusionieren und den Speicher über mehrere Ströme hinweg zu verwalten, ermöglichte eine effizientere Nutzung der Recheneinheiten der RTX 5090 als bei llama.cpp. llama.cpp zeigte zwar Stabilität, aber eine lineare Skalierung, die etwas weniger effizient war, was zu einer geringeren Gesamtanzahl an Tokens pro Sekunde über alle Ströme hinweg führte.

Für Entwickler, die Backend-Services für mehrere gleichzeitige Nutzer aufbauen, bietet die Architektur von Ninfer einen konkreten Vorteil in Bezug auf Kosteneffizienz und Geschwindigkeit. Für Desktop-Anwendungen mit Einzelnutzer bleibt die Einfachheit von llama.cpp ein überzeugender Vorteil.

Qualität und Konsistenz der Ausgabe

Geschwindigkeit ist bedeutungslos, wenn die Ausgabequalität darunter leidet. Wir haben die Ausgaben beider Engines anhand eines Standardsatzes von Reasoning- und Coding-Aufgaben bewertet.

Interessanterweise lieferten beide Engines nahezu identische Ergebnisse. Dies ist zu erwarten, da beide auf denselben Modellgewichten und Standard-Transformer-Architekturen basieren. Die Unterschiede in den Ausgaben waren minimal und größtenteils auf geringfügige Abweichungen bei der Handhabung der Gleitkommaarithmetik oder den Standardwerten der Sampling-Parameter zurückzuführen.

Ein subtiler Unterschied zeigte sich jedoch bei der Handhabung langer Kontexte. llama.cpp hat sein Kontextmanagement über Jahre hinweg weiterentwickelt und bietet eine robuste Verarbeitung langer Prompts mit minimaler Beeinträchtigung der Kohärenz. Ninfer, als jüngeres Tool, zeigte gelegentlich leichte Inkonsistenzen bei sehr langen Kontexten (über 32k Tokens), obwohl diese Probleme selten auftraten und oft durch manuelle Anpassung der Kontextfenstergröße behoben werden konnten.

Für die meisten Nutzer wird der Qualitätsunterschied kaum wahrnehmbar sein. Beide Engines bilden die Fähigkeiten von Qwen3 getreu ab und liefern präzise, kohärente und hilfreiche Antworten.

Benutzerfreundlichkeit und Integration

Die Entwicklererfahrung ist ein entscheidender Faktor bei der Wahl einer Inferenz-Engine. Hier unterscheiden sich die beiden Tools erheblich.

llama.cpp: Der Ökosystem-König

llama.cpp profitiert von einem riesigen Ökosystem. Es wird von praktisch jedem großen LLM-Framework unterstützt, darunter LangChain, LlamaIndex sowie verschiedene Web-UIs wie Ollama und LM Studio. Die Installation ist unkompliziert, da vorgefertigte Binaries für die meisten Plattformen verfügbar sind. Die Konfiguration ist einfach und verfügt über sinnvolle Standardeinstellungen, die sofort funktionieren.

Für Entwickler, die ein LLM in eine Python-Anwendung integrieren möchten, bietet llama.cpp eine nahtlose Erfahrung. Die llama-cpp-python-Bindings sind gut gepflegt und einfach zu verwenden. Die Dokumentation ist umfangreich und die Community-Unterstützung robust. Wenn Sie auf ein Problem stoßen, hat es wahrscheinlich bereits jemand gelöst.

Ninfer: Das Werkzeug für Spezialisten

Ninfer erfordert einen direkteren Ansatz. Der Installationsprozess ist komplexer und erfordert oft bestimmte Treiberversionen sowie manuelle Kompilierung für optimale Leistung. Die Dokumentation ist knapp gehalten, setzt aber ein höheres Maß an technischem Fachwissen voraus.

Die Konfigurationsoptionen von Ninfer sind leistungsstark, können aber für Anfänger überwältigend sein. Die Optimierung der Batch-Größe, der Kernel-Fusion-Einstellungen und der Speicherzuweisungsstrategien erfordert ein tieferes Verständnis der GPU-Architektur. Für diejenigen, die bereit sind, Zeit zu investieren, ist der Gewinn jedoch erheblich: deutliche Leistungssteigerungen in bestimmten Szenarien.

Die Integration in bestehende Frameworks ist weniger nahtlos als bei llama.cpp. Zwar gibt es Python-Bindings, diese sind jedoch nicht so ausgereift oder weit verbreitet. Entwickler müssen möglicherweise eigenen Glue-Code schreiben, um Ninfer in ihre bestehenden Stacks zu integrieren.

Vergleichstabelle

Die folgende Tabelle fasst die wichtigsten Unterschiede zwischen Ninfer und llama.cpp für RTX 5090-Nutzer zusammen.

Vor- und Nachteile

llama.cpp

Vorteile:

• Universelle Kompatibilität: Läuft auf nahezu jeder Hardware, vom Raspberry Pi bis zu High-End-Servern.
• Reiches Ökosystem: Integriert sich leicht in bestehende Tools und Frameworks.
• Niedrige Latenz: Optimiert für Single-Stream-Responsiveness, ideal für interaktive Apps.
• Ausgereifte Dokumentation: Umfangreiche Guides und Community-Support verfügbar.
• Quantisierungsunterstützung: Exzellente Unterstützung für GGUF-Formate, ermöglicht flexible Speicherverwaltung.

Nachteile:

• Batching-Effizienz: Nicht so optimiert für High-Throughput-Batch-Verarbeitung wie spezialisierte Engines.
• Kernel-Optimierung: Schöpft möglicherweise nicht jede letzte Leistungsreserve aus den neuesten NVIDIA-Architekturen ohne manuelles Tuning.

Ninfer

Vorteile:

• Überlegener Durchsatz: Überzeugt bei Batch-Inferenz-Szenarien und maximiert die GPU-Auslastung.
• Fortgeschrittene Optimierungen: Nutzt neueste CUDA-Features für schnellere Kernel-Ausführung.
• Speichereffizienz: Aggressives Speichermanagement reduziert den VRAM-Fußabdruck.
• Skalierbarkeit: Besser geeignet für Skalierung auf mehrere gleichzeitige Anfragen.

Nachteile:

• Komplexe Einrichtung: Erfordert mehr technisches Know-how für die korrekte Installation und Konfiguration.
• Kleineres Ökosystem: Weniger Integrationen mit gängigen Frameworks und Tools.
• Weniger ausgereift: Kann mehr Edge-Case-Bugs oder Inkonsistenzen im Vergleich zu llama.cpp aufweisen.
• Hardware-spezifisch: Optimierungen übertragen sich möglicherweise nicht so gut auf ältere oder Nicht-NVIDIA-Hardware.

Welches sollten Sie wählen?

Die Wahl zwischen Ninfer und llama.cpp hängt stark von Ihrem spezifischen Anwendungsfall und Ihrer technischen Vertrautheit ab.

Wählen Sie llama.cpp, wenn:

• Sie eine Single-User-Anwendung wie einen persönlichen Assistenten oder Coding-Helfer entwickeln.
• Sie einfachen Setup und breite Kompatibilität schätzen.
• Sie in bestehende Frameworks wie LangChain integrieren oder Tools wie Ollama nutzen.
• Sie eine zuverlässige, gut unterstützte Lösung mit minimalem Konfigurationsaufwand wünschen.

Wählen Sie Ninfer, wenn:

• Sie einen Backend-Service entwickeln, der mehrere gleichzeitige Anfragen verarbeitet.
• Sie maximalen Durchsatz für Batch-Verarbeitungsaufgaben benötigen.
• Sie über die technische Expertise verfügen, um Ihre Inferenz-Pipeline zu tunen und zu optimieren.
• Sie High-End-Hardware wie die RTX 5090 nutzen und deren Potenzial ausschöpfen möchten.

Final Fazit

Sowohl Ninfer als auch llama.cpp sind hervorragende Optionen, um Qwen3 auf einer RTX 5090 auszuführen. Keines ist objektiv in allen Szenarien „besser“; sie bedienen unterschiedliche Nischen. llama.cpp bleibt die sicherste, vielseitigste Wahl für die meisten Entwickler und bietet eine Balance aus Leistung und Benutzerfreundlichkeit. Ninfer bietet einen Leistungsvorteil für spezialisierte, hochdurchsatzfähige Anwendungen und belohnt jene, die Zeit in die Optimierung investieren.

Für den durchschnittlichen Entwickler, der ein schnelles, zuverlässiges LLM lokal bereitstellen möchte, ist llama.cpp der empfohlene Ausgangspunkt. Seine Reife und Ökosystemunterstützung machen es zu einer risikoarmen Wahl. Wenn Sie jedoch die Grenzen Ihrer Hardware ausreizen und jede Millisekunde Leistung benötigen, lohnt sich ein Blick auf Ninfer.

Während sich die Hardware weiterentwickelt, erwarten wir, dass sich beide Engines in der Leistung angleichen, ihre philosophischen Unterschiede jedoch wahrscheinlich bestehen bleiben. Entscheidend ist, das Tool an Ihren Arbeitsablauf anzupassen.

Häufig gestellte Fragen

Funktioniert Ninfer auf AMD-GPUs? Aktuell konzentrieren sich die Optimierungen von Ninfer stark auf NVIDIA-CUDA-Architekturen. Zwar kann es auf AMD-Hardware laufen, doch sind die Leistungsvorteile am deutlichsten auf NVIDIA-GPUs wie der RTX-50-Serie zu spüren. llama.cpp bietet breitere Unterstützung für AMD-GPUs via ROCm.

Ist Qwen3 besser als andere Modelle für lokale Inferenz? Qwen3 bietet eine starke Balance zwischen Größe und Leistungsfähigkeit und eignet sich daher ideal für lokale Inferenz. Es liefert auf beiden Engines gute Ergebnisse, aber seine Architektur ist besonders gut für die Batching-Optimierungen in Ninfer geeignet.

Brauche ich FP16-Präzision für gute Ergebnisse? Nicht unbedingt. Beide Engines unterstützen quantisierte Formate (wie Q4_K_M), die den Speicherbedarf bei minimalem Qualitätsverlust erheblich reduzieren. Für die meisten Aufgaben sind quantisierte Modelle ausreichend und schneller.

Welche Engine eignet sich besser für Coding-Assistenten? llama.cpp wird für Coding-Assistenten aufgrund der geringen Latenz und der einfachen Integration in IDE-Plugins im Allgemeinen bevorzugt. Wenn Ihr Assistent jedoch mehrere Benutzer gleichzeitig bedient, können die Durchsatzvorteile von Ninfer von Vorteil sein.

Kann ich leicht zwischen den Engines wechseln? Ja, beide Engines unterstützen Standard-Modellformate (GGUF für llama.cpp, kompatible Formate für Ninfer). Der Wechsel erfordert in der Regel eine Änderung der Backend-Konfiguration in Ihrer Anwendung, wobei Anpassungen der Tuning-Parameter erforderlich sein können.