Bisakah saya menjalankan Ollama atau LLM kecil di VPS vCPU dedikasi tanpa GPU?

Model mana yang muat di RAM tiap paket?

Di CPU, RAM menentukan model mana yang berjalan dan vCPU menentukan seberapa cepat model itu berjalan. Seluruh model berada di memori sistem, dan ukuran unduhan yang ditampilkan Ollama adalah perkiraan awal yang baik untuk memori yang dibutuhkannya. Context, sistem, dan apa pun yang lain di VPS ikut terhitung di atasnya: dokumentasi Ollama menyebutkan RAM yang dibutuhkan bertambah sebesar OLLAMA_NUM_PARALLEL kali OLLAMA_CONTEXT_LENGTH, dan context bawaan adalah 4.096 token.

Seberapa cepat inferensi LLM di CPU?

Inferensi CPU lebih lambat daripada GPU dengan selisih yang ditentukan oleh thread, bandwidth memori, dan kuantisasi. Cobaltfell tidak memublikasikan angka token per detik miliknya sendiri: Hasil YABS dan Geekbench 6 kami sendiri, bersama steal time yang kami ukur, akan diterbitkan beserta tanggalnya setelah mesin uji pertama kami tiba. Sampai saat itu kami tidak mencantumkan angka performa apa pun dari kami sendiri.

Angka publik yang paling berguna adalah uji yang dipublikasikan Leaseweb pada 5 April 2026 (halaman diperbarui 20 Agustus 2026). Pada server dengan dua prosesor AMD EPYC 9334 (Zen 4) yang menjalankan 24 thread, uji tersebut menghasilkan 27,8 token per detik dengan model 8B pada kuantisasi 4-bit (DeepSeek-R1-0528-Qwen3-8B, Q4_K_M), dan 8,1 token per detik dengan model yang sama pada FP16. GPU NVIDIA L4 mencapai 16,7 token per detik pada model tersebut di FP16. Waktu hingga token pertama pada Q4 berkisar antara 3,6 hingga 4,8 detik di antara model yang diuji.

Bagaimana cara menjalankan Ollama di VPS khusus CPU?

Instal Ollama dengan skrip resmi, tarik model yang muat di paket Anda, dan pastikan model berjalan sepenuhnya di CPU. ollama ps menunjukkan di mana model yang dimuat berada: kolom PROCESSOR-nya bernilai 100% CPU di VPS. Ollama mendengarkan di 127.0.0.1, port 11434, secara default; akses melalui SSH tunnel, atau letakkan reverse proxy yang mengautentikasi di depannya sebelum mengubah OLLAMA_HOST.

# official install script for Linux
curl -fsSL https://ollama.com/install.sh | sh

# pull and run a model that fits the plan (here about 2.5 GB)
ollama run qwen3:4b "Summarize what a dedicated vCPU is in one sentence."

# where the model is loaded: expect 100% CPU
ollama ps

# service settings: add these two lines under [Service]
sudo systemctl edit ollama
#   Environment="OLLAMA_CONTEXT_LENGTH=4096"
#   Environment="OLLAMA_NUM_PARALLEL=1"
sudo systemctl daemon-reload
sudo systemctl restart ollama

Apakah saya sebaiknya memakai llama.cpp secara langsung?

llama.cpp adalah pilihan ketika kuantisasi, jumlah thread, dan flag server menjadi hal penting. README-nya mencantumkan dukungan AVX, AVX2, AVX512, dan AMX pada x86, serta kuantisasi integer dari 1,5-bit hingga 8-bit untuk menghemat memori dan mempercepat inferensi. Proyek ini menyertakan llama-bench, alat uji performa yang secara default memproses prompt 512 token dan menghasilkan 128 token, serta mencoba beberapa jumlah thread dalam satu kali jalan.

Dua pemeriksaan hanya butuh satu menit di VPS mana pun: instruksi vektor apa yang diekspos prosesor, dan apakah model berjalan lebih cepat pada jumlah thread sebanyak vCPU atau pada satu thread per core fisik. Di Cobaltfell, Satu vCPU adalah satu thread perangkat keras dari prosesor host. Thread milik Anda dipatok satu per satu ke VPS Anda dan tidak pernah dipinjamkan ke pelanggan lain, dan dua thread dari satu core fisik tetap bersama, jadi setiap 2 vCPU membentuk satu core utuh yang tidak dipakai bersama oleh tetangga, jadi Fell 16 memberikan 16 thread pada 8 core untuk dibandingkan; aturannya dijelaskan di apakah vCPU khusus itu sebuah core atau thread.

# vector instructions the VPS can use
grep -o -w -E 'avx2|avx512f|avx512_bf16|amx_tile' /proc/cpuinfo | sort -u

# prompt 512 tokens, generate 128, on 8 and then 16 threads
llama-bench -m qwen3-8b-q4_k_m.gguf -p 512 -n 128 -t 8,16

Apa yang diubah vCPU khusus untuk inferensi?

Generasi membuat setiap thread sibuk sepanjang jawaban, sehingga waktu CPU yang hilang langsung berubah menjadi token yang lebih lambat. Pada vCPU bersama, burst dari tetangga memperpanjang setiap balasan sebagai steal time, dijelaskan di apa itu CPU steal time dan cara memeriksanya di VPS, dan batas fair-use pada periode beban penuh yang panjang membatasi inferensi lebih dulu.

Di Cobaltfell: Beban penuh diperbolehkan selama pekerjaan Anda membutuhkannya: tanpa CPU credit, tanpa jendela burst, dan tanpa throttling setelah beberapa menit pada 100%. RAM pada paket Anda disisihkan untuk VPS Anda dan tidak di-overcommit, jadi model yang dimuat tidak pernah terdorong keluar dari RAM oleh host. Keluarga prosesornya adalah AMD EPYC 9004/9005 (Zen 4 / Zen 5). Menjalankan model pada 100% diperbolehkan; batasnya ditarik di tempat lain: Menambang cryptocurrency apa pun tidak diizinkan, pada paket apa pun dan dengan software apa pun. Pekerjaan CPU berat Anda sendiri, seperti build, encoding, inference, atau database, boleh berjalan pada beban penuh, dan node yang hanya memvalidasi blockchain bukanlah penambangan.

Host yang menjual vCPU khusus, dan harga satu core, dibandingkan di berapa biaya VPS dengan CPU khusus per core pada November 2026.

Kapan GPU menjadi jawaban yang tepat untuk LLM?

GPU adalah jawaban yang tepat ketika kecepatan per pengguna, jumlah pengguna, atau ukuran model lebih penting daripada biaya. Uji Leaseweb menarik garis yang sama: CPU cocok untuk beban batch, asinkron, dan ringan, sementara GPU tetap unggul untuk pekerjaan yang sensitif terhadap latensi, konkurensi tinggi, dan model di atas 20B parameter tanpa kuantisasi. Tiga kasus lain mengarah ke GPU:

• Model yang lebih besar dari RAM. Fell 16 memiliki 32 GB; model 70B pada 43 GB tidak muat di paket mana pun.
• Prompt panjang. Retrieval dan document chat memberi ribuan token sebelum kata pertama, dan tahap prompt itulah tempat CPU menunggu paling lama.
• Training dan fine-tuning. Ini pekerjaan GPU dalam praktiknya.

Cobaltfell tidak menjual GPU. Untuk kasus-kasus itu, server GPU adalah sewaan yang tepat, dengan VPS CPU tetap dipakai untuk API, antrean, dan vector database di sekitar model. Encoding video memunculkan pertanyaan yang sama, dijawab di bisakah VPS melakukan transcode video dengan FFmpeg tanpa GPU.