Ollama'yı veya küçük bir LLM'i GPU olmadan tahsisli vCPU VPS'te çalıştırabilir miyim?

Hangi modeller her planın RAM'ine sığar?

CPU'da hangi modelin çalışacağına RAM karar verir, ne kadar hızlı çalışacağına ise vCPU karar verir. Modelin tamamı sistem belleğinde yaşar ve Ollama'nın gösterdiği indirme boyutu, kapladığı bellek için iyi bir ilk tahmindir. Context, sistem ve VPS'teki diğer her şey bunun üzerine eklenir: Ollama'nın dokümantasyonu, gereken RAM'in OLLAMA_NUM_PARALLEL çarpı OLLAMA_CONTEXT_LENGTH ile büyüdüğünü söyler ve varsayılan context 4.096 token'dır.

CPU'da LLM çıkarımı ne kadar hızlı?

CPU çıkarımı, thread'ler, bellek bant genişliği ve nicemlemenin belirlediği bir farkla GPU'dan daha yavaştır. Cobaltfell kendine ait saniyedeki token sayısı vermiyor: Kendi YABS ve Geekbench 6 sonuçlarımız, ölçtüğümüz steal time ile birlikte, ilk test makinemiz teslim edildiğinde tarihiyle yayımlanacaktır. O zamana kadar kendimize ait hiçbir performans değeri vermiyoruz.

En faydalı kamuya açık veri, Leaseweb'in 5 Nisan 2026'da yayınladığı (sayfa 20 Ağustos 2026'da güncellendi) bir testtir. İki AMD EPYC 9334 işlemcili (Zen 4) ve 24 thread çalışan bir sunucuda test, 4-bit nicemlenmiş bir 8B modelle (DeepSeek-R1-0528-Qwen3-8B, Q4_K_M) saniyede 27,8 token ve aynı modelle FP16'da saniyede 8,1 token üretti. Bir NVIDIA L4 GPU, o modelde FP16'da saniyede 16,7 token'a ulaştı. Q4'te ilk token süresi, test edilen modeller genelinde 3,6 ila 4,8 saniye arasındaydı.

Ollama'yı yalnızca CPU'lu bir VPS'te nasıl çalıştırırım?

Ollama'yı resmî betikle kurun, plana sığan bir model çekin ve tamamen CPU üzerinde çalıştığını doğrulayın. ollama ps yüklü bir modelin nerede yaşadığını gösterir: VPS'te PROCESSOR sütunu 100% CPU okur. Ollama varsayılan olarak 127.0.0.1, 11434 portunu dinler; ona bir SSH tüneli üzerinden ulaşın ya da OLLAMA_HOST değiştirmeden önce önüne kimlik doğrulayan bir ters proxy koyun.

# official install script for Linux
curl -fsSL https://ollama.com/install.sh | sh

# pull and run a model that fits the plan (here about 2.5 GB)
ollama run qwen3:4b "Summarize what a dedicated vCPU is in one sentence."

# where the model is loaded: expect 100% CPU
ollama ps

# service settings: add these two lines under [Service]
sudo systemctl edit ollama
#   Environment="OLLAMA_CONTEXT_LENGTH=4096"
#   Environment="OLLAMA_NUM_PARALLEL=1"
sudo systemctl daemon-reload
sudo systemctl restart ollama

llama.cpp'yi doğrudan kullanmalı mıyım?

Kuantizasyon, iş parçacığı sayısı ve sunucu bayrakları önemliyse seçim llama.cpp'dir. README dosyası x86'da AVX, AVX2, AVX512 ve AMX desteğini ve bellek kullanımını azaltıp çıkarımı hızlandırmak için 1,5-bit ila 8-bit arası tamsayı kuantizasyonunu listeler. Yanında llama-bench gelir; varsayılanları 512 token'lık bir prompt işleyip 128 token üreten ve tek çalıştırmada birkaç iş parçacığı sayısını deneyen bir performans test aracı.

Herhangi bir VPS'te iki kontrol bir dakika alır: işlemcinin hangi vektör komutlarını sunduğu ve modelin vCPU sayısı kadar iş parçacığında mı yoksa her fiziksel çekirdek için bir iş parçacığında mı daha hızlı çalıştığı. Cobaltfell'de Bir vCPU, ana makine işlemcisinin bir donanım iş parçacığıdır. Sizinkiler VPS'nize bire bir sabitlenir ve başka bir müşteriye asla ödünç verilmez; fiziksel bir çekirdeğin iki iş parçacığı bir arada kalır, böylece her 2 vCPU, hiçbir komşunun paylaşmadığı tam bir çekirdek oluşturur, yani Fell 16 karşılaştırma için 8 çekirdek üzerinde 16 iş parçacığı verir; kural ayrılmış bir vCPU bir çekirdek mi yoksa bir iş parçacığı mı bölümünde açıklanmıştır.

# vector instructions the VPS can use
grep -o -w -E 'avx2|avx512f|avx512_bf16|amx_tile' /proc/cpuinfo | sort -u

# prompt 512 tokens, generate 128, on 8 and then 16 threads
llama-bench -m qwen3-8b-q4_k_m.gguf -p 512 -n 128 -t 8,16

Ayrılmış vCPU çıkarım için ne değiştirir?

Üretim, cevabın tüm uzunluğu boyunca her iş parçacığını meşgul tutar, dolayısıyla kaybedilen CPU zamanı doğrudan daha yavaş token'lara dönüşür. Paylaşımlı bir vCPU'da komşunun ani yükü, CPU steal time nedir ve bir VPS'te nasıl kontrol edilir bölümünde açıklandığı gibi, çalma zamanı olarak her yanıtı uzatır ve uzun tam yük dönemlerindeki adil kullanım sınırları çıkarımı önce kısar.

Cobaltfell'de: İşiniz gerektirdiği süre boyunca tam yük serbesttir: CPU kredisi yok, ani yük penceresi yok ve %100'de birkaç dakika geçtikten sonra kısıtlama yok. Planınızın RAM'i VPS'nize ayrılır ve aşırı taahhüt edilmez, böylece yüklü bir model hiçbir zaman ana makine tarafından RAM'den atılmaz. İşlemci ailesi AMD EPYC 9004/9005 (Zen 4 / Zen 5). Bir modeli %100'de çalıştırmak serbesttir; çizgi başka yerde çizilir: Herhangi bir kripto para birimini madencilik yapmak, hiçbir planda ve hiçbir yazılımla izin verilmez. Derleme, kodlama, çıkarım veya veritabanları gibi kendi ağır CPU işleriniz tam yükte çalışabilir ve yalnızca bir blokzincirini doğrulayan bir düğüm madencilik sayılmaz.

Ayrılmış vCPU satan sunucular ve bir çekirdeğin fiyatı Kasım 2026'da ayrılmış CPU VPS çekirdek başına ne kadar bölümünde karşılaştırılmıştır.

Bir LLM için GPU ne zaman doğru cevaptır?

Kullanıcı başına hız, kullanıcı sayısı veya modelin boyutu maliyetten daha önemliyse GPU doğru cevaptır. Leaseweb testi de aynı çizgiyi çizer: CPU toplu, asenkron ve hafif iş yüklerine uyar, GPU'lar ise gecikmeye duyarlı işlerde, yüksek eşzamanlılıkta ve kuantizasyonsuz 20B parametrenin üzerindeki modellerde önde kalır. Üç durum daha GPU'yu işaret eder:

• RAM'den büyük modeller. Fell 16'nın 32 GB vardır; 43 GB'lık bir 70B model hiçbir plana sığmaz.
• Uzun prompt'lar. Retrieval ve belge sohbeti ilk kelimeden önce binlerce token besler ve bir CPU'nun en uzun beklediği aşama o prompt aşamasıdır.
• Eğitim ve ince ayar. Bunlar pratikte GPU işleridir.

Cobaltfell GPU satmaz. Bu durumlar için doğru kiralama bir GPU sunucusudur, modelin etrafındaki API, kuyruk ve vektör veritabanı için bir CPU VPS tutulur. Video kodlama da aynı soruyu doğurur; bir VPS GPU olmadan FFmpeg ile video kodlayabilir mi bölümünde yanıtlanmıştır.