Quick answer
क्या मैं बिना GPU के VPS पर Ollama या कोई LLM चला सकता हूँ?
हाँ: Ollama बिना GPU के VPS पर एक LLM तब चलाता है जब quantized model RAM में फिट हो। Cobaltfell पर Fell 8 (16 GB) qwen3:8b जैसे 8B से 14B model चलाता है, जो 5.2 GB का download है, और Fell 16 (32 GB) 17 से 20 GB के 27B से 32B model चलाता है (Ollama library, 2 November 2026 को जाँचा गया)। एक साथ कई users, लंबे prompts या RAM से बड़े model के लिए GPU बेहतर है।
हर plan की RAM में कौन से model फिट होते हैं?
CPU पर, RAM तय करती है कौन सा model चलेगा और vCPU तय करते हैं कि वह कितनी तेज़ चलेगा। पूरा model system memory में रहता है, और Ollama जो download size दिखाता है वह ली जाने वाली memory का अच्छा पहला अनुमान है। Context, system और VPS पर मौजूद बाकी चीज़ें इसके ऊपर आती हैं: Ollama का documentation कहता है कि ज़रूरी RAM OLLAMA_NUM_PARALLEL गुना OLLAMA_CONTEXT_LENGTH के साथ बढ़ती है, और default context 4,096 tokens है।
| प्लान | RAM | बहुत जगह बचाकर फिट | छोटे context और बहुत कम बाकी चीज़ों के साथ फिट |
|---|---|---|---|
| Fell 2 | 4 GB | gemma3:1b (806 MB), llama3.2:1b (1.3 GB), qwen3:1.7b (1.4 GB), llama3.2:3b (2.0 GB) | qwen3:4b (2.5 GB) |
| Fell 4 | 8 GB | qwen3:4b (2.5 GB), gemma3:4b (3.4 GB), deepseek-r1:7b (4.7 GB) | qwen3:8b और deepseek-r1:8b (5.2 GB) |
| Fell 8 | 16 GB | qwen3:8b (5.2 GB), gemma3:12b (8.2 GB), deepseek-r1:14b (9.0 GB), qwen3:14b (9.3 GB) | साथ-साथ दो छोटे model loaded |
| Fell 16 | 32 GB | gemma3:27b (17 GB), qwen3:30b (19 GB) | qwen3:32b और deepseek-r1:32b (20 GB) |
Cobaltfell के 2 November 2026 के survey के अनुसार, उन 6 hosts में से जो बिना ID check के 2022-या-नए processor पर dedicated vCPU बेचते हैं, 4 ने 32 GB RAM या उससे अधिक वाला plan सूचीबद्ध किया; सबसे सस्ता था VPSLab का R9 Ultra, 12 vCores और 48 GB, €69.99 ($78.19) प्रति माह।
CPU पर LLM inference कितना तेज़ है?
CPU inference GPU से धीमा होता है, और यह अंतर threads, memory bandwidth और quantization से तय होता है। Cobaltfell अपना कोई tokens-per-second आँकड़ा प्रकाशित नहीं करता: हमारे अपने YABS और Geekbench 6 नतीजे, साथ ही जो steal time हम मापते हैं, हमारी पहली टेस्ट मशीन डिलीवर होते ही तारीख के साथ प्रकाशित किए जाएँगे। तब तक हम अपनी तरफ़ से कोई performance आँकड़ा नहीं देते।
सबसे उपयोगी सार्वजनिक आँकड़ा Leaseweb का 5 April 2026 को प्रकाशित परीक्षण है (पेज 20 August 2026 को अपडेट हुआ)। दो AMD EPYC 9334 processor (Zen 4) वाले server पर 24 threads चलाते हुए, परीक्षण ने 8B model के 4-bit quantization (DeepSeek-R1-0528-Qwen3-8B, Q4_K_M) के साथ 27.8 tokens प्रति सेकंड और उसी model के FP16 पर 8.1 tokens प्रति सेकंड उत्पन्न किए। एक NVIDIA L4 GPU उस model पर FP16 में 16.7 tokens प्रति सेकंड तक पहुँचा। Q4 पर time to first token परीक्षण किए गए model में 3.6 से 4.8 सेकंड तक रहा।
| Leaseweb परीक्षण में hardware | Model और precision | Generation speed |
|---|---|---|
| 2 × AMD EPYC 9334, 24 threads | DeepSeek-R1-0528-Qwen3-8B, Q4_K_M | 27.8 tokens/s |
| 2 × AMD EPYC 9334, 24 threads | DeepSeek-R1-0528-Qwen3-8B, FP16 | 8.1 tokens/s |
| NVIDIA L4 | DeepSeek-R1-0528-Qwen3-8B, FP16 | 16.7 tokens/s |
ये आंकड़े 24 थ्रेड वाले दो-सॉकेट बेयर मेटल से हैं। 8 या 16 vCPU वाले VPS में थ्रेड कम होते हैं और एक सॉकेट का हिस्सा मिलता है, इसलिए उसका आंकड़ा कम होता है; कितना कम, यह नहीं मापा गया।
एक सबक सीधे लागू होता है: वही मॉडल एक ही CPU पर FP16 की तुलना में Q4 पर तीन गुना से ज़्यादा तेज़ चला। CPU पर, छोटी quantized फ़ाइल पहला speed-up है जिसे आज़माना चाहिए।
CPU-only VPS पर Ollama कैसे चलाएं?
Ollama को आधिकारिक स्क्रिप्ट से इंस्टॉल करें, ऐसा मॉडल pull करें जो प्लान में फिट हो, और पुष्टि करें कि यह पूरी तरह CPU पर चलता है। ollama ps दिखाता है कि लोडेड मॉडल कहां रहता है: VPS पर इसका PROCESSOR कॉलम 100% CPU दिखाता है। Ollama डिफ़ॉल्ट रूप से 127.0.0.1, पोर्ट 11434 पर सुनता है; SSH tunnel से इसे पहुंचें, या OLLAMA_HOST बदलने से पहले आगे एक authenticating reverse proxy लगाएं।
# official install script for Linux
curl -fsSL https://ollama.com/install.sh | sh
# pull and run a model that fits the plan (here about 2.5 GB)
ollama run qwen3:4b "Summarize what a dedicated vCPU is in one sentence."
# where the model is loaded: expect 100% CPU
ollama ps
# service settings: add these two lines under [Service]
sudo systemctl edit ollama
# Environment="OLLAMA_CONTEXT_LENGTH=4096"
# Environment="OLLAMA_NUM_PARALLEL=1"
sudo systemctl daemon-reload
sudo systemctl restart ollamaक्या मुझे सीधे llama.cpp इस्तेमाल करना चाहिए?
llama.cpp तब चुनें जब quantization, थ्रेड संख्या और सर्वर flags मायने रखते हों। इसका README x86 पर AVX, AVX2, AVX512 और AMX सपोर्ट, और मेमोरी उपयोग घटाने व inference तेज़ करने के लिए 1.5-bit से 8-bit तक integer quantization सूचीबद्ध करता है। इसमें llama-bench शामिल है, एक performance testing टूल जो डिफ़ॉल्ट रूप से 512-token prompt प्रोसेस करता है और 128 tokens जनरेट करता है, और एक ही रन में कई थ्रेड संख्याएं आज़माता है।
किसी भी VPS पर दो जांच में एक मिनट लगता है: प्रोसेसर कौन-से vector instructions देता है, और मॉडल vCPU जितने थ्रेड पर तेज़ चलता है या प्रति physical core एक थ्रेड पर। Cobaltfell में, एक vCPU होस्ट प्रोसेसर का एक हार्डवेयर थ्रेड है। आपके थ्रेड आपके VPS से एक-से-एक पिन किए जाते हैं और कभी किसी दूसरे ग्राहक को नहीं दिए जाते, और एक फ़िज़िकल कोर के दोनों थ्रेड साथ ही रहते हैं, इसलिए हर 2 vCPU एक पूरा कोर बनाते हैं जिसे कोई पड़ोसी साझा नहीं करता, इसलिए तुलना के लिए Fell 16 8 cores पर 16 थ्रेड देता है; नियम is a dedicated vCPU a core or a thread में समझाया गया है।
# vector instructions the VPS can use
grep -o -w -E 'avx2|avx512f|avx512_bf16|amx_tile' /proc/cpuinfo | sort -u
# prompt 512 tokens, generate 128, on 8 and then 16 threads
llama-bench -m qwen3-8b-q4_k_m.gguf -p 512 -n 128 -t 8,16inference के लिए dedicated vCPU क्या बदलता है?
Generation पूरे उत्तर की लंबाई तक हर थ्रेड को व्यस्त रखता है, इसलिए खोया CPU समय सीधे धीमे tokens में बदल जाता है। shared vCPU पर, पड़ोसी का burst steal time के रूप में हर जवाब को लंबा करता है, जिसे what CPU steal time is and how to check it on a VPS में समझाया गया है, और लंबे full-load दौरों पर fair-use caps सबसे पहले inference को throttle करते हैं।
Cobaltfell में: जब तक आपके काम को ज़रूरत हो, पूरा load चलाने की अनुमति है: कोई CPU credit नहीं, कोई burst window नहीं और 100% पर कुछ मिनट बाद कोई throttling नहीं। आपके प्लान की RAM आपके VPS के लिए अलग रखी जाती है और overcommit नहीं की जाती, इसलिए लोडेड मॉडल कभी host द्वारा RAM से बाहर नहीं धकेला जाता। प्रोसेसर फ़ैमिली AMD EPYC 9004/9005 (Zen 4 / Zen 5) है। मॉडल को 100% पर चलाना अनुमत है; लकीर कहीं और खींची गई है: किसी भी cryptocurrency की mining की अनुमति नहीं है, किसी भी प्लान पर और किसी भी software से। आपका अपना भारी CPU काम, जैसे builds, encoding, inference या databases, पूरे load पर चल सकता है, और केवल blockchain validate करने वाला node mining नहीं है।
Dedicated vCPU बेचने वाले hosts, और एक core की कीमत, की तुलना what a dedicated CPU VPS costs per core in November 2026 में की गई है।
LLM के लिए GPU सही जवाब कब है?
GPU सही जवाब तब है जब प्रति उपयोगकर्ता गति, उपयोगकर्ताओं की संख्या या मॉडल का आकार लागत से ज़्यादा मायने रखे। Leaseweb परीक्षण भी यही लकीर खींचता है: CPU batch, asynchronous और हल्के workloads के लिए उपयुक्त है, जबकि GPU latency-critical काम, high concurrency और quantization के बिना 20B parameters से ऊपर के मॉडलों के लिए आगे रहता है। तीन और स्थितियां GPU की ओर इशारा करती हैं:
- RAM से बड़े मॉडल। Fell 16 में 32 GB है; 43 GB पर एक 70B मॉडल किसी प्लान में फिट नहीं होता।
- लंबे prompts। Retrieval और document chat पहले शब्द से पहले हज़ारों tokens देते हैं, और उस prompt चरण में CPU सबसे लंबा इंतज़ार करता है।
- Training और fine-tuning। ये व्यवहार में GPU के काम हैं।
Cobaltfell कोई GPU नहीं बेचता। उन स्थितियों के लिए GPU सर्वर सही किराया है, और मॉडल के आसपास API, queue और vector database के लिए CPU VPS रखा जाता है। Video encoding भी वही सवाल उठाता है, जिसका जवाब can a VPS transcode video with FFmpeg without a GPU में है।
GPU के बिना VPS पर LLM के बारे में लोग और कौन-से सवाल पूछते हैं?
क्या DeepSeek R1 GPU के बिना VPS पर चल सकता है?
Distilled संस्करण, हां: Fell 8 पर deepseek-r1:8b (5.2 GB), और छोटे context के साथ Fell 16 पर deepseek-r1:32b (20 GB)। पूरा deepseek-r1:671b एक 404 GB डाउनलोड है और किसी VPS प्लान में फिट नहीं होता।
क्या कई उपयोगकर्ता CPU पर एक मॉडल साझा कर सकते हैं?
हां, प्रति parallel request एक मेमोरी लागत पर। Ollama डिफ़ॉल्ट रूप से एक समय में प्रति मॉडल एक request सर्व करता है (OLLAMA_NUM_PARALLEL=1), और ज़रूरी RAM उस सेटिंग को context length से गुणा करने पर बढ़ती है। इसे एक-एक कदम बढ़ाएं और free -h देखें।
मैं कैसे मापूं कि मेरे प्लान पर मॉडल कितनी तेज़ चलता है?
llama-bench किसी मॉडल फ़ाइल और थ्रेड संख्या के लिए prompt और generation गति tokens per second में बताता है। यह डिफ़ॉल्ट रूप से हर परीक्षण 5 बार दोहराता है और मानक विचलन के साथ औसत देता है।
Ollama CPU पर कितने मॉडल लोडेड रख सकता है?
CPU inference के लिए डिफ़ॉल्ट रूप से 3 तक, हर एक अंतिम उपयोग के बाद 5 मिनट तक मेमोरी में रखा जाता है। Fell 2 और Fell 4 पर, एक समय में एक मॉडल दूसरे को पहले को swap में धकेलने से रोकता है।
क्या Cobaltfell GPU सर्वर देता है?
नहीं। Cobaltfell AMD EPYC 9004/9005 प्रोसेसर पर dedicated vCPU वाले Linux VPS बेचता है, 12-महीने की अवधि पर $10.49 प्रति माह से, जैसा how much a dedicated-core VPS costs में सूचीबद्ध है।
Sources (10)
- Ollama FAQ (context length, parallel requests, loaded models, bind address) — Ollama (checked 2026-11-02)
- Linux पर Ollama (install script, systemd) — Ollama (checked 2026-11-02)
- Ollama library: qwen3 — Ollama (checked 2026-11-02)
- Ollama library: gemma3 — Ollama (checked 2026-11-02)
- Ollama library: llama3.2 — Ollama (checked 2026-11-02)
- Ollama library: deepseek-r1 — Ollama (checked 2026-11-02)
- llama.cpp README — ggml-org (checked 2026-11-02)
- llama-bench — ggml-org (checked 2026-11-02)
- AMD EPYC LLM Inference Benchmark: CPU Performance for 7B-20B Models and TTS Workloads — Leaseweb (published 2026-04-05, updated 2026-08-20, checked 2026-11-02)
- VPSLab Ryzen VPS (R9 Ultra, 48 GB) vpslab.cloud/ryzen-vps — VPSLab (checked 2026-11-02)