Kann ich Ollama oder ein kleines LLM auf einem VPS mit dedizierter vCPU ohne GPU betreiben?

Welche Modelle passen in den Arbeitsspeicher der einzelnen Tarife?

Auf einer CPU entscheidet der Arbeitsspeicher, welches Modell läuft, und die vCPU entscheiden, wie schnell es läuft. Das ganze Modell liegt im Systemspeicher, und die Downloadgröße, die Ollama anzeigt, ist eine gute erste Schätzung des benötigten Speichers. Kontext, System und alles andere auf dem VPS kommen obendrauf: Laut Ollamas Dokumentation wächst der benötigte Arbeitsspeicher mit OLLAMA_NUM_PARALLEL mal OLLAMA_CONTEXT_LENGTH, und der Standardkontext beträgt 4.096 Tokens.

Wie schnell ist LLM-Inferenz auf einer CPU?

CPU-Inferenz ist langsamer als eine GPU, und zwar um einen Abstand, der von Threads, Speicherbandbreite und Quantisierung bestimmt wird. Cobaltfell veröffentlicht keine eigene Tokens-pro-Sekunde-Zahl: Unsere eigenen YABS- und Geekbench-6-Ergebnisse sowie die von uns gemessene Steal Time werden mit Datum veröffentlicht, sobald unsere erste Testmaschine geliefert ist. Bis dahin nennen wir keinen eigenen Performance-Wert.

Die nützlichste öffentliche Zahl ist ein Test, den Leaseweb am 5. April 2026 veröffentlicht hat (Seite aktualisiert am 20. August 2026). Auf einem Server mit zwei AMD EPYC 9334 Prozessoren (Zen 4) und 24 Threads erzeugte der Test 27,8 Tokens pro Sekunde mit einem 8B-Modell bei 4-Bit-Quantisierung (DeepSeek-R1-0528-Qwen3-8B, Q4_K_M) und 8,1 Tokens pro Sekunde mit demselben Modell bei FP16. Eine NVIDIA L4 GPU erreichte mit diesem Modell bei FP16 16,7 Tokens pro Sekunde. Die Zeit bis zum ersten Token lag bei Q4 über die getesteten Modelle hinweg zwischen 3,6 und 4,8 Sekunden.

Wie führe ich Ollama auf einem reinen CPU-VPS aus?

Installieren Sie Ollama mit dem offiziellen Skript, laden Sie ein Modell, das zum Tarif passt, und prüfen Sie, ob es vollständig auf der CPU läuft. ollama ps zeigt, wo ein geladenes Modell liegt: Die Spalte PROCESSOR zeigt auf einem VPS 100% CPU. Ollama lauscht standardmäßig auf 127.0.0.1, Port 11434; erreichen Sie es über einen SSH-Tunnel, oder setzen Sie einen authentifizierenden Reverse Proxy davor, bevor Sie OLLAMA_HOST ändern.

# official install script for Linux
curl -fsSL https://ollama.com/install.sh | sh

# pull and run a model that fits the plan (here about 2.5 GB)
ollama run qwen3:4b "Summarize what a dedicated vCPU is in one sentence."

# where the model is loaded: expect 100% CPU
ollama ps

# service settings: add these two lines under [Service]
sudo systemctl edit ollama
#   Environment="OLLAMA_CONTEXT_LENGTH=4096"
#   Environment="OLLAMA_NUM_PARALLEL=1"
sudo systemctl daemon-reload
sudo systemctl restart ollama

Sollte ich llama.cpp direkt verwenden?

llama.cpp ist die Wahl, wenn Quantisierung, Thread-Anzahl und Server-Flags zählen. Die README listet Unterstützung für AVX, AVX2, AVX512 und AMX auf x86 sowie Integer-Quantisierung von 1,5 Bit bis 8 Bit, um den Speicherbedarf zu senken und die Inferenz zu beschleunigen. Es enthält llama-bench, ein Werkzeug zum Performance-Testing, dessen Standardwerte einen 512-Token-Prompt verarbeiten und 128 Tokens generieren und das in einem Durchlauf mehrere Thread-Anzahlen ausprobiert.

Zwei Prüfungen dauern auf jedem VPS eine Minute: welche Vektorinstruktionen der Prozessor bereitstellt und ob das Modell auf so vielen Threads wie vCPU oder auf einem Thread pro physischem Kern schneller läuft. Bei Cobaltfell gilt Eine vCPU ist ein Hardware-Thread des Host-Prozessors. Ihre vCPUs sind eins zu eins an Ihren VPS gebunden und werden nie an einen anderen Kunden verliehen, und die beiden Threads eines physischen Kerns bleiben zusammen, sodass je 2 vCPU einen ganzen Kern ergeben, den kein Nachbar teilt, daher liefert Fell 16 zum Vergleich 16 Threads auf 8 Kernen; die Regel ist in ist eine dedizierte vCPU ein Kern oder ein Thread erklärt.

# vector instructions the VPS can use
grep -o -w -E 'avx2|avx512f|avx512_bf16|amx_tile' /proc/cpuinfo | sort -u

# prompt 512 tokens, generate 128, on 8 and then 16 threads
llama-bench -m qwen3-8b-q4_k_m.gguf -p 512 -n 128 -t 8,16

Was ändern dedizierte vCPU für die Inferenz?

Die Generierung hält jeden Thread über die gesamte Länge einer Antwort beschäftigt, daher schlägt sich verlorene CPU-Zeit direkt in langsameren Tokens nieder. Auf einer geteilten vCPU dehnt ein Burst eines Nachbarn jede Antwort als Steal Time, erklärt in was CPU Steal Time ist und wie Sie sie auf einem VPS prüfen, und Fair-Use-Obergrenzen für lange Volllastphasen drosseln zuerst die Inferenz.

Bei Cobaltfell: Volllast ist erlaubt, solange Ihre Arbeit sie benötigt: keine CPU-Credits, kein Burst-Fenster und kein Drosseln nach einigen Minuten bei 100 %. Der Arbeitsspeicher Ihres Plans ist für Ihren VPS reserviert und nicht überbucht, sodass ein geladenes Modell nie vom Host aus dem RAM verdrängt wird. Die Prozessorfamilie ist AMD EPYC 9004/9005 (Zen 4 / Zen 5). Ein Modell mit 100 % laufen zu lassen ist erlaubt; die Grenze liegt woanders: Das Mining jeglicher Kryptowährung ist nicht erlaubt, in keinem Plan und mit keiner Software. Ihre eigene schwere CPU-Arbeit wie Builds, Encoding, Inferenz oder Datenbanken darf bei Volllast laufen, und ein Node, der nur eine Blockchain validiert, ist kein Mining.

Hosts, die dedizierte vCPU verkaufen, und der Preis eines Kerns werden in was ein dedizierter CPU-VPS pro Kern im November 2026 kostet verglichen.

Wann ist eine GPU die richtige Antwort für ein LLM?

Eine GPU ist die richtige Antwort, wenn Geschwindigkeit pro Nutzer, die Anzahl der Nutzer oder die Modellgröße wichtiger sind als die Kosten. Der Leaseweb-Test zieht dieselbe Grenze: CPU eignet sich für Batch-, asynchrone und leichte Workloads, während GPUs bei latenzkritischer Arbeit, hoher Parallelität und Modellen über 20B Parametern ohne Quantisierung vorn bleiben. Drei weitere Fälle sprechen für eine GPU:

• Modelle größer als der RAM. Fell 16 hat 32 GB; ein 70B-Modell mit 43 GB passt in keinen Tarif.
• Lange Prompts. Retrieval und Dokumenten-Chat speisen Tausende Tokens vor dem ersten Wort ein, und in dieser Prompt-Phase wartet eine CPU am längsten.
• Training und Fine-Tuning. Das sind in der Praxis GPU-Aufgaben.

Cobaltfell verkauft keine GPU. Für diese Fälle ist ein GPU-Server die richtige Miete, während ein CPU-VPS für die API, die Queue und die Vektordatenbank rund um das Modell bleibt. Videokodierung wirft dieselbe Frage auf, beantwortet in kann ein VPS mit FFmpeg ohne GPU Videos transcodieren.