# Tôi có thể chạy Ollama hoặc một LLM nhỏ trên VPS vCPU chuyên dụng mà không có GPU không?

> Tôi có thể chạy Ollama trên VPS không có GPU không? Có: các LLM lượng tử hóa lên tới khoảng 32B trên 2 đến 16 vCPU chuyên dụng.

- URL: https://cobaltfell.com/vi/vps-for-llm-without-gpu/
- Cập nhật lần cuối: 2026-11-02
- Đơn vị phát hành: Cobaltfell (https://cobaltfell.com)

Tôi có thể chạy Ollama hoặc một LLM trên VPS không có GPU không? Những model lượng tử hóa nào vừa với RAM của từng gói, các bài kiểm tra CPU đã công bố cho thấy tốc độ ra sao, cách thiết lập Ollama trên VPS chỉ có CPU, và khi nào GPU là công cụ phù hợp.

**Trả lời nhanh — Tôi có thể chạy Ollama hoặc một LLM trên VPS không có GPU không?**

Có: Ollama chạy một LLM trên VPS không có GPU khi model lượng tử hóa vừa với RAM. Trên **Cobaltfell**, Fell 8 (16 GB) chạy các model 8B đến 14B như qwen3:8b, bản tải xuống 5.2 GB, và Fell 16 (32 GB) chạy các model 27B đến 32B từ 17 đến 20 GB (Ollama library, kiểm tra ngày 2 tháng 11 năm 2026). GPU thắng thế khi có nhiều người dùng cùng lúc, prompt dài hoặc model lớn hơn RAM.

## Những model nào vừa với RAM của từng gói?

**Trên CPU, RAM quyết định model nào chạy được và vCPU quyết định nó chạy nhanh đến đâu.** Toàn bộ model nằm trong bộ nhớ hệ thống, và dung lượng tải xuống mà Ollama hiển thị là một ước lượng ban đầu tốt cho bộ nhớ nó chiếm. Context, hệ điều hành và mọi thứ khác trên VPS cộng thêm vào đó: tài liệu Ollama cho biết RAM cần thiết tăng theo `OLLAMA_NUM_PARALLEL` lần `OLLAMA_CONTEXT_LENGTH`, và context mặc định là 4,096 token.

*Dung lượng tải xuống của các tag mặc định trên các trang Ollama library, đọc ngày 2 tháng 11 năm 2026. "Vừa thoải mái" giữ model ở mức bằng hoặc dưới khoảng 60% RAM của gói, một quy tắc ngón tay cái chứ không phải số đo. Ngoài tầm với trên mọi gói: deepseek-r1:70b (43 GB) và deepseek-r1:671b (404 GB).*

| Gói | RAM | Vừa thoải mái | Vừa với context ngắn và ít thứ khác đang chạy |
| --- | --- | --- | --- |
| Fell 2 | 4 GB | gemma3:1b (806 MB), llama3.2:1b (1.3 GB), qwen3:1.7b (1.4 GB), llama3.2:3b (2.0 GB) | qwen3:4b (2.5 GB) |
| Fell 4 | 8 GB | qwen3:4b (2.5 GB), gemma3:4b (3.4 GB), deepseek-r1:7b (4.7 GB) | qwen3:8b và deepseek-r1:8b (5.2 GB) |
| Fell 8 | 16 GB | qwen3:8b (5.2 GB), gemma3:12b (8.2 GB), deepseek-r1:14b (9.0 GB), qwen3:14b (9.3 GB) | hai model nhỏ nạp song song |
| Fell 16 | 32 GB | gemma3:27b (17 GB), qwen3:30b (19 GB) | qwen3:32b và deepseek-r1:32b (20 GB) |

**Theo khảo sát của Cobaltfell ngày 2 tháng 11 năm 2026, 4 trong 6 nhà cung cấp bán vCPU chuyên dụng trên bộ xử lý từ năm 2022 trở lên mà không kiểm tra danh tính đã niêm yết một gói có 32 GB RAM trở lên; gói rẻ nhất là R9 Ultra của VPSLab, 12 vCore và 48 GB, giá €69.99 ($78.19) một tháng.**

## Suy luận LLM trên CPU nhanh đến mức nào?

**Suy luận trên CPU chậm hơn GPU với khoảng cách do số thread, băng thông bộ nhớ và lượng tử hóa quyết định.** Cobaltfell không công bố con số token trên giây của riêng mình: Kết quả YABS và Geekbench 6 của chính chúng tôi, cùng với steal time đo được, sẽ được công bố kèm ngày khi máy test đầu tiên được giao. Cho đến lúc đó, chúng tôi không đưa ra con số hiệu năng nào của riêng mình.

Con số công khai hữu ích nhất là một bài kiểm tra Leaseweb công bố ngày 5 tháng 4 năm 2026 (trang cập nhật ngày 20 tháng 8 năm 2026). Trên một server với hai bộ xử lý AMD EPYC 9334 (Zen 4) chạy 24 thread, bài kiểm tra tạo ra **27.8 token mỗi giây** với model 8B ở lượng tử hóa 4-bit (DeepSeek-R1-0528-Qwen3-8B, Q4_K_M), và **8.1 token mỗi giây** với cùng model ở FP16. Một GPU NVIDIA L4 đạt 16.7 token mỗi giây với model đó ở FP16. Thời gian đến token đầu tiên ở Q4 dao động từ 3.6 đến 4.8 giây trên các model được kiểm tra.

*Số liệu do Leaseweb công bố (5 tháng 4 năm 2026, cập nhật 20 tháng 8 năm 2026), đọc ngày 2 tháng 11 năm 2026. Máy bare metal hai socket, không phải VPS.*

| Phần cứng trong bài kiểm tra của Leaseweb | Model và độ chính xác | Tốc độ sinh |
| --- | --- | --- |
| 2 × AMD EPYC 9334, 24 thread | DeepSeek-R1-0528-Qwen3-8B, Q4_K_M | 27,8 token/giây |
| 2 × AMD EPYC 9334, 24 thread | DeepSeek-R1-0528-Qwen3-8B, FP16 | 8,1 token/giây |
| NVIDIA L4 | DeepSeek-R1-0528-Qwen3-8B, FP16 | 16,7 token/giây |

Những con số đó đến từ máy bare metal hai socket với 24 luồng. Một VPS với 8 hoặc 16 vCPU có ít luồng hơn và chỉ dùng chung một phần của một socket, nên con số của nó thấp hơn; thấp hơn bao nhiêu thì chưa được đo.

Một bài học áp dụng thẳng được: cùng một model chạy nhanh hơn ba lần ở Q4 so với FP16 trên cùng một CPU. **Trên CPU, một file lượng tử hóa nhỏ hơn là cách tăng tốc đầu tiên nên thử.**

## Làm thế nào để chạy Ollama trên VPS chỉ có CPU?

**Cài Ollama bằng script chính thức, kéo một model vừa với gói, và xác nhận nó chạy hoàn toàn trên CPU.** `ollama ps` cho thấy một model đã nạp nằm ở đâu: cột `PROCESSOR` của nó hiển thị `100% CPU` trên một VPS. Ollama lắng nghe trên 127.0.0.1, cổng 11434, theo mặc định; truy cập nó qua một SSH tunnel, hoặc đặt một reverse proxy có xác thực ở phía trước trước khi đổi `OLLAMA_HOST`.

*Cài Ollama, chạy một model, đặt context và parallelism*

```bash
# official install script for Linux
curl -fsSL https://ollama.com/install.sh | sh

# pull and run a model that fits the plan (here about 2.5 GB)
ollama run qwen3:4b "Summarize what a dedicated vCPU is in one sentence."

# where the model is loaded: expect 100% CPU
ollama ps

# service settings: add these two lines under [Service]
sudo systemctl edit ollama
#   Environment="OLLAMA_CONTEXT_LENGTH=4096"
#   Environment="OLLAMA_NUM_PARALLEL=1"
sudo systemctl daemon-reload
sudo systemctl restart ollama
```

## Tôi có nên dùng llama.cpp trực tiếp không?

**llama.cpp là lựa chọn khi lượng tử hóa, số luồng và các flag của server quan trọng.** README của nó liệt kê hỗ trợ AVX, AVX2, AVX512 và AMX trên x86, cùng lượng tử hóa số nguyên từ 1,5-bit đến 8-bit để giảm bộ nhớ dùng và tăng tốc suy luận. Nó cung cấp `llama-bench`, một công cụ kiểm thử hiệu năng mà mặc định xử lý một prompt 512 token và sinh 128 token, và thử nhiều số luồng trong một lần chạy.

Hai bước kiểm tra mất một phút trên bất kỳ VPS nào: bộ xử lý phơi ra những chỉ thị vector nào, và model chạy nhanh hơn trên số luồng bằng số vCPU hay trên một luồng cho mỗi lõi vật lý. Tại Cobaltfell, Một vCPU là một luồng phần cứng của bộ xử lý máy chủ. Các luồng của bạn được ghim 1-1 vào VPS của bạn và không bao giờ được cho khách hàng khác mượn, và hai luồng của một lõi vật lý luôn đi cùng nhau, nên cứ mỗi 2 vCPU tạo thành một lõi nguyên vẹn mà không hàng xóm nào dùng chung, nên Fell 16 cho 16 luồng trên 8 lõi để so sánh; quy tắc này được giải thích trong [một vCPU chuyên dụng là một lõi hay một luồng](https://cobaltfell.com/vi/vcpu-vs-core/ "vCPU dedicated là core hay thread trên VPS?").

*Tính năng CPU và so sánh số luồng*

```bash
# vector instructions the VPS can use
grep -o -w -E 'avx2|avx512f|avx512_bf16|amx_tile' /proc/cpuinfo | sort -u

# prompt 512 tokens, generate 128, on 8 and then 16 threads
llama-bench -m qwen3-8b-q4_k_m.gguf -p 512 -n 128 -t 8,16
```

## vCPU chuyên dụng thay đổi gì cho suy luận?

**Quá trình sinh giữ mọi luồng bận suốt độ dài của một câu trả lời, nên thời gian CPU bị mất chuyển thẳng thành token chậm hơn.** Trên một vCPU dùng chung, một đợt bùng nổ của hàng xóm kéo dài mỗi câu trả lời dưới dạng steal time, được giải thích trong [steal time của CPU là gì và cách kiểm tra nó trên một VPS](https://cobaltfell.com/vi/cpu-steal-time/ "CPU steal time là gì và làm sao kiểm tra trên VPS của tôi?"), và các giới hạn fair-use cho những giai đoạn tải đầy kéo dài sẽ bóp nghẹt suy luận trước tiên.

Tại Cobaltfell: Được phép chạy full load miễn là công việc của bạn cần: không có credit CPU, không có cửa sổ burst và không bị bóp hiệu năng sau vài phút ở mức 100%. RAM trong gói của bạn được dành riêng cho VPS của bạn và không bị cam kết vượt mức, nên một model đã nạp không bao giờ bị host đẩy ra khỏi RAM. Dòng bộ xử lý là AMD EPYC 9004/9005 (Zen 4 / Zen 5). Chạy một model ở 100% được phép; ranh giới được vẽ ở chỗ khác: Đào bất kỳ loại cryptocurrency nào đều không được phép, trên mọi gói và với mọi phần mềm. Công việc CPU nặng của riêng bạn, như build, encoding, inference hay database, được chạy full load, và một node chỉ xác thực blockchain không phải là đào.

Các host bán vCPU chuyên dụng, và giá của một lõi, được so sánh trong [một VPS CPU chuyên dụng tốn bao nhiêu mỗi lõi vào tháng 11 năm 2026](https://cobaltfell.com/vi/dedicated-cpu-vps-price-index/ "Dedicated CPU VPS price per core, survey of 2 November 2026").

## Khi nào GPU là câu trả lời đúng cho một LLM?

**GPU là câu trả lời đúng khi tốc độ trên mỗi người dùng, số người dùng hoặc kích thước của model quan trọng hơn chi phí.** Bài kiểm tra của Leaseweb vẽ cùng ranh giới đó: CPU phù hợp cho khối lượng công việc theo lô, bất đồng bộ và nhẹ, trong khi GPU vẫn dẫn trước cho công việc nhạy cảm với độ trễ, độ đồng thời cao và các model trên 20B tham số mà không lượng tử hóa. Ba trường hợp nữa chỉ ra một GPU:

- **Model lớn hơn RAM.** Fell 16 có 32 GB; một model 70B ở 43 GB không vừa gói nào.
- **Prompt dài.** Truy xuất và trò chuyện với tài liệu nạp hàng nghìn token trước từ đầu tiên, và giai đoạn prompt đó là nơi CPU chờ lâu nhất.
- **Huấn luyện và tinh chỉnh.** Đây là những việc dành cho GPU trên thực tế.

Cobaltfell không bán GPU. Cho những trường hợp đó, một GPU server là thứ đúng để thuê, với một VPS CPU giữ cho API, hàng đợi và cơ sở dữ liệu vector quanh model. Mã hóa video đặt ra cùng câu hỏi, được trả lời trong [một VPS có thể transcode video bằng FFmpeg mà không cần GPU không](https://cobaltfell.com/vi/vps-for-video-transcoding/ "Tôi có thể chuyển mã video bằng FFmpeg trên VPS vCPU chuyên dụng không có GPU không?").

## Người ta còn hỏi những câu gì về LLM trên một VPS không có GPU?

### DeepSeek R1 có chạy được trên một VPS không có GPU không?

Các phiên bản distilled thì được: deepseek-r1:8b (5,2 GB) trên Fell 8, và deepseek-r1:32b (20 GB) trên Fell 16 với context ngắn. Bản đầy đủ deepseek-r1:671b là một bản tải về 404 GB và không vừa gói VPS nào.

### Nhiều người dùng có thể chia sẻ một model trên CPU không?

Được, với chi phí bộ nhớ cho mỗi yêu cầu song song. Ollama phục vụ một yêu cầu cho mỗi model tại một thời điểm theo mặc định (`OLLAMA_NUM_PARALLEL=1`), và RAM cần thiết tăng theo thiết lập đó nhân với độ dài context. Tăng nó từng bước một và theo dõi `free -h`.

### Làm thế nào để đo một model chạy nhanh bao nhiêu trên gói của tôi?

`llama-bench` báo cáo tốc độ prompt và tốc độ sinh tính bằng token trên giây cho một file model và một số luồng. Nó lặp lại mỗi bài kiểm tra 5 lần theo mặc định và cho giá trị trung bình cùng độ lệch chuẩn.

### Ollama có thể giữ bao nhiêu model được nạp trên CPU?

Tối đa 3 theo mặc định cho suy luận trên CPU, mỗi model được giữ trong bộ nhớ 5 phút sau lần dùng cuối. Trên Fell 2 và Fell 4, một model tại một thời điểm ngăn model thứ hai đẩy model thứ nhất vào swap.

### Cobaltfell có cung cấp GPU server không?

Không. Cobaltfell bán Linux VPS với vCPU chuyên dụng trên bộ xử lý AMD EPYC 9004/9005, từ $10.49 một tháng với kỳ hạn 12 tháng, như được liệt kê trong [một VPS lõi chuyên dụng tốn bao nhiêu](https://cobaltfell.com/vi/pricing/ "VPS dedicated-vCPU giá bao nhiêu?").

## Nguồn

1. [Ollama FAQ (độ dài context, yêu cầu song song, model được nạp, địa chỉ bind)](https://docs.ollama.com/faq) — Ollama (checked 2026-11-02)
2. [Ollama trên Linux (script cài đặt, systemd)](https://docs.ollama.com/linux) — Ollama (checked 2026-11-02)
3. [Ollama library: qwen3](https://ollama.com/library/qwen3) — Ollama (checked 2026-11-02)
4. [Ollama library: gemma3](https://ollama.com/library/gemma3) — Ollama (checked 2026-11-02)
5. [Ollama library: llama3.2](https://ollama.com/library/llama3.2) — Ollama (checked 2026-11-02)
6. [Ollama library: deepseek-r1](https://ollama.com/library/deepseek-r1) — Ollama (checked 2026-11-02)
7. [llama.cpp README](https://github.com/ggml-org/llama.cpp/blob/master/README.md) — ggml-org (checked 2026-11-02)
8. [llama-bench](https://github.com/ggml-org/llama.cpp/tree/master/tools/llama-bench) — ggml-org (checked 2026-11-02)
9. [AMD EPYC LLM Inference Benchmark: Hiệu năng CPU cho Model 7B-20B và khối lượng công việc TTS](https://blog.leaseweb.com/2026/04/05/amd-epyc-llm-inference-benchmark-cpu-vs-gpu/) — Leaseweb (published 2026-04-05, updated 2026-08-20, checked 2026-11-02)
10. [VPSLab Ryzen VPS (R9 Ultra, 48 GB)](https://vpslab.cloud/ryzen-vps) — VPSLab (checked 2026-11-02)

---

Cobaltfell: Cobaltfell là nhà cung cấp VPS với nhân vCPU chuyên dụng, thanh toán bằng crypto không cần tải lên giấy tờ tùy thân, được vận hành bởi DomaineGoat LLC, một công ty đăng ký tại Panama. Mỗi vCPU được ghim riêng cho máy chủ của bạn, trên bộ xử lý AMD EPYC 9004/9005 (Zen 4 / Zen 5) với lưu trữ NVMe, tại Amsterdam (Hà Lan), Zurich (Thụy Sĩ) và Bucharest (Romania). Với kỳ hạn 12 tháng, mỗi gói có giá thấp hơn ít nhất 25% so với một gói dedicated-CPU tương đương được nêu tên, chọn trong 6 nhà cung cấp VPS crypto không cần KYC và được đọc vào ngày 2 tháng 11 năm 2026.