Ninfer vs llama.cpp: Benchmarking van snelheid en kwaliteit van Qwen3 op RTX 5090

Het landschap van lokale Large Language Model (LLM)-inference is eind 2026 drastisch veranderd. Door de brede adoptie van NVIDIA’s RTX 50-serie grafische kaarten, specifiek de high-end RTX 5090, worden ontwikkelaars en enthousiastelingen niet langer beperkt door de geheugenbandbreedte-flessenhalzen die eerdere generaties plagden. Hardwarekracht is echter slechts de helft van de vergelijking. De softwarestack die het inference-proces beheert, speelt een cruciale rol bij het bepalen of een model direct of traag aanvoelt.

Twee namen domineren het gesprek over geoptimaliseerde lokale inference: llama.cpp, de beproefde, zeer draagbare C++-bibliotheek die de de facto standaard is geworden voor CPU- en GPU-inference, en Ninfer, een nieuwere speler gericht op hoge doorvoer, gebatchte inference met agressieve kernel-optimalisaties. Beide beweren de beste prestaties te bieden voor modellen zoals Qwen3, Alibaba’s nieuwste open-weight krachtpatser. Maar welke levert de superieure ervaring op een RTX 5090?

In deze uitgebreide vergelijking hebben we beide engines getest met het Qwen3-32B-model. We hebben de tijd tot eerste token (TTFT), de snelheid van token-generatie, geheugenefficiëntie en uitvoerkwaliteit gemeten. Ons doel is om u te helpen beslissen welk tool bij uw workflow past, of u nu een realtime chatbot, een code-assistent of een batchverwerkingspijplijn bouwt.

De kandidaten begrijpen

Voordat we in de cijfers duiken, is het essentieel om de filosofie achter elke engine te begrijpen. Deze verschillen bepalen hoe ze samenwerken met hardware en waarom hun prestatieprofielen uiteenlopen.

llama.cpp: De veelzijdige werkhorse

llama.cpp is al lang de gouden standaard voor het draaien van LLM’s op consumentenhardware. De belangrijkste kracht ligt in de alomtegenwoordigheid en flexibiliteit. Het ondersteunt een breed scala aan kwantisatieformaten (GGUF), draait efficiënt op CPU’s, geïntegreerde graphics en dedicated GPU’s, en heeft een enorm ecosysteem van bindings voor Python, JavaScript en Rust.

Voor de RTX 5090 maakt llama.cpp gebruik van CUDA-kernels om inferentie te versnellen. De architectuur is ontworpen voor inferentie met lage latentie en één stream, wat het ideaal maakt voor interactieve toepassingen waarbij de gebruiker een directe respons verwacht. Recente updates hebben de ondersteuning voor meerdere GPU's verbeterd en het geheugenbeheer voor grotere contextvensters geoptimaliseerd, maar het kernontwerp blijft gericht op eenvoud en compatibiliteit.

Ninfer: de specialist in doorvoer

Ninfer staat voor een verschuiving naar gespecialiseerde inferentie-engines. In tegenstelling tot llama.cpp, dat een universele runner wil zijn, is Ninfer specifiek ontworpen om de doorvoer te maximaliseren via geavanceerde batching- en kernel-fusietechnieken. Het gaat uit van een moderne GPU-omgeving en duwt de grenzen van parallelisme op.

De architectuur van Ninfer draait minder om brede compatibiliteit en meer om het maximale uit high-end hardware zoals de RTX 5090 halen. Het maakt gebruik van agressieve geheugencompressie en gespecialiseerde attention-mechanismen die nauw gekoppeld zijn aan de nieuwste NVIDIA-driverstacks. Dit maakt het mogelijk sneller voor batchverwerking of scenario's met hoge gelijktijdigheid, maar kan complexiteit introduceren voor eenvoudige setups.

Testomgeving en methodologie

Om een eerlijke vergelijking te garanderen, hebben we onze testomgeving gestandaardiseerd. Alle tests zijn uitgevoerd op een systeem met een NVIDIA RTX 5090 GPU (32GB VRAM), een Intel Core i9-processor en 64GB DDR5 RAM. Het besturingssysteem was Ubuntu 24.04 LTS met de nieuwste NVIDIA-drivers geïnstalleerd.

We hebben het Qwen3-32B-model gebruikt, een populair open-weight model bekend om zijn balans tussen redeneervermogen en grootte. Het model is geladen in FP16-precisie om de kwaliteit te maximaliseren, hoewel we ook Q4_K_M-kwantisatie hebben getest voor beide engines om efficiencywinsten te beoordelen.

Onze metrics omvatten:

1. Time to First Token (TTFT): Hoe lang het duurt voordat het model begint met het genereren van tekst na ontvangst van een prompt.
2. Tokens Per Second (TPS): De snelheid van generatie zodra het model begint met spreken.
3. Geheugenvoetafdruk: De hoeveelheid VRAM die tijdens inferentie wordt verbruikt.
4. Kwalitatieve beoordeling: Een subjectieve review van de coherentie van de output en het volgen van instructies.

Prestatiebenchmarks: Snelheid en latentie

Snelheid is vaak de belangrijkste reden voor de keuze van een inference-engine. Op een RTX 5090 presteren beide engines uitstekend, maar hun sterke punten liggen op verschillende gebieden.

Single-Stream Interactive Use Case

Voor typische interactieve use cases – zoals een chatinterface of een code-assistent – is latency koning. Gebruikers willen dat het model onmiddellijk reageert.

In onze tests toonde llama.cpp een betere consistentie in Time to First Token (TTFT). Omdat de architectuur van llama.cpp is geoptimaliseerd voor single-stream processing, vermijdt het de overhead van batching-logica bij het verwerken van een enkele aanvraag. De opstarttijd van het model was verwaarloosbaar en het eerste token verscheen vrijwel onmiddellijk na het indienen van de prompt.

Ninfer, hoewel in staat tot hoge snelheden, vertoonde een iets hogere variatie in TTFT. Dit wordt toegeschreven aan de initialisatieroutines, die gebatchte uitvoeringscontexten voorbereiden, zelfs voor enkele aanvragen. Hoewel het verschil slechts in de orde van milliseconden lag, was llama.cpp in een competitieve benchmark net iets responsiever dan Ninfer.

Zodra de generatie begon, werd het verschil echter kleiner. Beide engines bereikten hoge Tokens Per Second (TPS)-waarden, boven de 100 TPS voor het Qwen3-32B-model in FP16. De enorme bandbreedte van de RTX 5090 zorgt ervoor dat geen van beide engines in deze configuratie ernstig wordt beperkt door de geheugensnelheid.

Batch Processing en Throughput

Waar Ninfer echt uitblinkt, is bij batch-processing-scenario's. Als je meerdere gelijktijdige aanvragen uitvoert of een dataset offline verwerkt, bieden de batching-optimalisaties van Ninfer een aanzienlijk voordeel.

In onze multi-stream-test, waarbij vier gelijktijdige prompts tegelijk werden verwerkt, handhaafde Ninfer een hogere aggregate throughput. Het vermogen om kernels te fuseren en geheugen te beheren over meerdere streams stelde het in staat de compute-units van de RTX 5090 efficiënter te benutten dan llama.cpp. llama.cpp, hoewel stabiel, vertoonde lineaire schaling die iets minder efficiënt was, wat leidde tot een lager totaal aantal tokens per seconde over alle streams.

Voor ontwikkelaars die backend-services bouwen voor meerdere gelijktijdige gebruikers, biedt de architectuur van Ninfer een tastbaar voordeel in kostenefficiëntie en snelheid. Voor single-user desktopapplicaties blijft de eenvoud van llama.cpp een overtuigend voordeel.

Kwaliteit en Output Consistentie

Snelheid is betekenisloos als de kwaliteit van de output eronder lijdt. We hebben de outputs van beide engines geëvalueerd met behulp van een standaardset van redeneer- en codeertaken.

Interessant genoeg leverden beide engines bijna identieke resultaten op. Dit is verwacht, aangezien beide vertrouwen op dezelfde onderliggende modelgewichten en standaard transformer-architecturen. De verschillen in output waren minimaal en grotendeels toe te schrijven aan kleine variaties in de afhandeling van floating-point arithmetic of standaardinstellingen voor sampling parameters.

Er trad echter een subtiel verschil op bij de verwerking van lange contexten. llama.cpp heeft zijn contextbeheer jarenlang ontwikkeld, wat zorgt voor robuuste verwerking van lange prompts met minimale degradatie in coherentie. Ninfer, als nieuwer product, vertoonde soms kleine inconsistenties bij zeer lange contexten (meer dan 32k tokens), hoewel deze problemen zeldzaam waren en vaak werden opgelost door de grootte van het contextvenster handmatig aan te passen.

Voor de meeste gebruikers zal het kwaliteitsverschil onmerkbaar zijn. Beide engines reproduceren de mogelijkheden van Qwen3 trouw en bieden nauwkeurige, coherente en behulpzame antwoorden.

Gebruiksgemak en integratie

De ontwikkelaarservaring is een cruciale factor bij het kiezen van een inference engine. Hier wijken de twee tools sterk van elkaar af.

llama.cpp: De ecosysteemkoning

llama.cpp profiteert van een enorm ecosysteem. Het wordt ondersteund door vrijwel elk belangrijk LLM-framework, waaronder LangChain, LlamaIndex en diverse web-UI's zoals Ollama en LM Studio. Installatie is eenvoudig, met vooraf gebouwde binaries beschikbaar voor de meeste platforms. Configuratie is simpel, met voorinstellingen die direct werken.

Voor een ontwikkelaar die een LLM wil integreren in een Python-toepassing biedt llama.cpp een naadloze ervaring. De llama-cpp-python bindings zijn goed onderhouden en gebruiksvriendelijk. De documentatie is uitgebreid en de community-ondersteuning is robuust. Als je een probleem tegenkomt, is de kans groot dat iemand het al heeft opgelost.

Ninfer: Het specialistische hulpmiddel

Ninfer vereist een meer hands-on aanpak. Het installatieproces is complexer, vaak met specifieke driver-versies en handmatige compilatie voor optimale prestaties. De documentatie is beknopt maar gaat uit van een hoger niveau van technische expertise.

De configuratieopties van Ninfer zijn krachtig maar kunnen voor beginners overweldigend zijn. Het afstemmen van de batchgrootte, kernel-fusie-instellingen en geheugenallocatiestrategieën vereist een dieper begrip van GPU-architectuur. Wie echter de tijd neemt, wordt beloond met aanzienlijke prestatiewinsten in specifieke scenario's.

Integratie met bestaande frameworks verloopt minder naadloos dan bij llama.cpp. Hoewel er Python-bindings bestaan, zijn deze minder volwassen en minder breed geadopteerd. Ontwikkelaars moeten mogelijk eigen glue-code schrijven om Ninfer in hun bestaande stack te integreren.

Vergelijkingstabel

De volgende tabel vat de belangrijkste verschillen tussen Ninfer en llama.cpp samen voor RTX 5090-gebruikers.

Analyse van voor- en nadelen

llama.cpp

Voordelen:

• Universele compatibiliteit: Draait op vrijwel elke hardware, van Raspberry Pi tot high-end servers.
• Rijk ecosysteem: Integreert eenvoudig met bestaande tools en frameworks.
• Lage latentie: Geoptimaliseerd voor single-stream responsiviteit, ideaal voor interactieve apps.
• Volwassen documentatie: Uitgebreide handleidingen en community-ondersteuning beschikbaar.
• Ondersteuning voor kwantisatie: Uitstekende ondersteuning voor GGUF-formaten, wat flexibel geheugenbeheer mogelijk maakt.

Nadelen:

• Batching-efficiëntie: Niet zo geoptimaliseerd voor batchverwerking met hoge doorvoer als gespecialiseerde engines.
• Kernel-optimalisatie: Haalt mogelijk niet elke druppel prestaties uit de nieuwste NVIDIA-architecturen zonder handmatige afstemming.

Ninfer

Voordelen:

• Superieure doorvoer: Uitstekend in gebatchte inferentiescenario's, maximaliseert GPU-benutting.
• Geavanceerde optimalisaties: Benut de nieuwste CUDA-functies voor snellere kerneluitvoering.
• Geheugenefficiëntie: Agressief geheugenbeheer vermindert het VRAM-voetafdruk.
• Schaalbaarheid: Beter geschikt voor schaling naar meerdere gelijktijdige aanvragen.

Nadelen:

• Complexe installatie: Vereist meer technische expertise voor correcte installatie en configuratie.
• Kleiner ecosysteem: Minder integraties met populaire frameworks en tools.
• Minder volwassen: Mogelijk meer edge-case bugs of inconsistenties vergeleken met llama.cpp.
• Hardware-specifiek: Optimalisaties werken mogelijk minder goed op oudere of niet-NVIDIA hardware.

Welke moet je kiezen?

De keuze tussen Ninfer en llama.cpp hangt grotendeels af van je specifieke use case en technische kennisniveau.

Kies llama.cpp als:

• Je een single-user applicatie bouwt, zoals een persoonlijke assistent of codehulp.
• Je waarde hecht aan eenvoudige installatie en brede compatibiliteit.
• Je integreert met bestaande frameworks zoals LangChain of tools zoals Ollama gebruikt.
• Je een betrouwbare, goed ondersteunde oplossing wilt met minimale configuratie-inspanning.

Kies Ninfer als:

• Je een backend-service bouwt die meerdere gelijktijdige verzoeken verwerkt.
• Je maximale doorvoer nodig hebt voor batchverwerkingstaken.
• Je de technische expertise hebt om je inference-pipeline af te stellen en te optimaliseren.
• Je high-end hardware zoals de RTX 5090 gebruikt en het maximale potentieel wilt benutten.

Eindoordeel

Zowel Ninfer als llama.cpp zijn uitstekende keuzes om Qwen3 op een RTX 5090 te draaien. Geen van beide is objectief "beter" in alle scenario's; ze bedienen verschillende niches. llama.cpp blijft de veiligste, veelzijdigste keuze voor de meeste ontwikkelaars, met een balans tussen prestaties en gebruiksgemak. Ninfer biedt een prestatievoordeel voor gespecialiseerde, high-throughput applicaties, en beloont wie tijd investeert in optimalisatie.

Voor de gemiddelde ontwikkelaar die een snelle, betrouwbare LLM lokaal wil inzetten, is llama.cpp het aanbevolen startpunt. De volwassenheid en ecosysteemondersteuning maken het een keuze met laag risico. Als je echter de grenzen van je hardware opzoekt en elke millisecond aan prestaties nodig hebt, is Ninfer het ontdekken waard.

Naarmate hardware blijft evolueren, verwachten we dat beide engines qua prestaties naar elkaar toe groeien, maar hun filosofische verschillen zullen waarschijnlijk blijven bestaan. Het belangrijkste is om de tool af te stemmen op je workflow.

Veelgestelde vragen

Werkt Ninfer op AMD GPUs? Momenteel zijn de optimalisaties van Ninfer sterk gericht op NVIDIA CUDA-architecturen. Hoewel het mogelijk draait op AMD-hardware, zijn de prestatiewinsten het grootst op NVIDIA GPUs zoals de RTX 50-serie. llama.cpp heeft bredere ondersteuning voor AMD GPUs via ROCm.

Is Qwen3 beter dan andere modellen voor lokale inferentie? Qwen3 biedt een sterke balans tussen grootte en capaciteit, wat het ideaal maakt voor lokale inferentie. Het presteert goed op beide engines, maar de architectuur is bijzonder geschikt voor de batching-optimalisaties in Ninfer.

Heb ik FP16-precisie nodig voor goede resultaten? Niet noodzakelijk. Beide engines ondersteunen gekwantiseerde formaten (zoals Q4_K_M) die het geheugengebruik aanzienlijk verminderen met minimaal kwaliteitsverlies. Voor de meeste taken zijn gekwantiseerde modellen voldoende en sneller.

Welke engine is beter voor code-assistenten? llama.cpp wordt over het algemeen verkozen voor code-assistenten vanwege de lage latentie en de eenvoudige integratie met IDE-plug-ins. Als je assistent echter meerdere gebruikers tegelijk bedient, kunnen de doorvoervoordelen van Ninfer nuttig zijn.

Kan ik eenvoudig wisselen tussen engines? Ja, beide engines ondersteunen standaard modelformaten (GGUF voor llama.cpp, compatibele formaten voor Ninfer). Wisselen houdt meestal in dat je de backend-configuratie in je applicatie aanpast, hoewel het afstemmen van parameters mogelijk aanpassing vereist.