Чи можу я запустити Ollama або невелику LLM на VPS із виділеним vCPU без GPU?

Які моделі вміщуються в RAM кожного плану?

На CPU саме RAM визначає, яка модель запуститься, а vCPU — наскільки швидко вона працює. Уся модель живе в системній пам'яті, і розмір завантаження, який показує Ollama, — хороша перша оцінка потрібної пам'яті. Контекст, система й будь-що інше на VPS додаються зверху: документація Ollama каже, що потрібна RAM зростає з OLLAMA_NUM_PARALLEL разів OLLAMA_CONTEXT_LENGTH, а типовий контекст — 4 096 токенів.

Наскільки швидкий inference LLM на CPU?

CPU-інференс повільніший за GPU на величину, яку визначають потоки, пропускна здатність пам'яті та квантизація. Cobaltfell не публікує власних цифр токенів за секунду: Наші власні результати YABS і Geekbench 6 разом із виміряним нами steal time будуть опубліковані із зазначенням дати, щойно буде доставлено нашу першу тестову машину. До того часу ми не наводимо жодного власного показника продуктивності.

Найкорисніша публічна цифра — тест, який Leaseweb опублікував 5 квітня 2026 (сторінку оновлено 20 серпня 2026). На сервері з двома процесорами AMD EPYC 9334 (Zen 4) із 24 потоками тест генерував 27.8 токенів за секунду з моделлю 8B у 4-бітній квантизації (DeepSeek-R1-0528-Qwen3-8B, Q4_K_M) і 8.1 токенів за секунду з тією самою моделлю у FP16. GPU NVIDIA L4 досяг 16.7 токенів за секунду на цій моделі у FP16. Час до першого токена на Q4 коливався від 3.6 до 4.8 секунди серед протестованих моделей.

Як запустити Ollama на VPS лише з CPU?

Встановіть Ollama офіційним скриптом, завантажте модель, що вміщується в план, і переконайтеся, що вона працює повністю на CPU. ollama ps показує, де живе завантажена модель: її стовпець PROCESSOR на VPS показує 100% CPU. Ollama за замовчуванням слухає 127.0.0.1, порт 11434; до неї дістаються через SSH-тунель або ставлять попереду зворотний проксі з автентифікацією, перш ніж змінювати OLLAMA_HOST.

# official install script for Linux
curl -fsSL https://ollama.com/install.sh | sh

# pull and run a model that fits the plan (here about 2.5 GB)
ollama run qwen3:4b "Summarize what a dedicated vCPU is in one sentence."

# where the model is loaded: expect 100% CPU
ollama ps

# service settings: add these two lines under [Service]
sudo systemctl edit ollama
#   Environment="OLLAMA_CONTEXT_LENGTH=4096"
#   Environment="OLLAMA_NUM_PARALLEL=1"
sudo systemctl daemon-reload
sudo systemctl restart ollama

Чи варто використовувати llama.cpp напряму?

llama.cpp — це вибір, коли важливі квантизація, кількість потоків і прапорці сервера. У його README перелічено підтримку AVX, AVX2, AVX512 і AMX на x86 та цілочисельну квантизацію від 1.5-bit до 8-bit, щоб зменшити споживання пам'яті й прискорити інференс. Він постачається з llama-bench — інструментом тестування продуктивності, чиї типові налаштування обробляють промпт на 512 токенів і генерують 128 токенів, і який за один запуск пробує кілька значень кількості потоків.

Дві перевірки займають хвилину на будь-якому VPS: які векторні інструкції надає процесор, і чи модель працює швидше на стількох потоках, скільки vCPU, чи на одному потоці на фізичне ядро. У Cobaltfell vCPU — це один апаратний потік процесора хоста. Ваші потоки закріплені один до одного за вашим VPS і ніколи не позичаються іншому клієнту, а два потоки одного фізичного ядра завжди лишаються разом, тож кожні 2 vCPU утворюють одне ціле ядро, якого не ділить із вами сусід, тож Fell 16 дає 16 потоків на 8 ядрах для порівняння; правило пояснено в чи виділений vCPU — це ядро чи потік.

# vector instructions the VPS can use
grep -o -w -E 'avx2|avx512f|avx512_bf16|amx_tile' /proc/cpuinfo | sort -u

# prompt 512 tokens, generate 128, on 8 and then 16 threads
llama-bench -m qwen3-8b-q4_k_m.gguf -p 512 -n 128 -t 8,16

Що змінюють виділені vCPU для інференсу?

Генерація тримає кожен потік зайнятим упродовж усієї довжини відповіді, тож втрачений час CPU прямо перетворюється на повільніші токени. На спільному vCPU сплеск сусіда подовжує кожну відповідь як steal time, що пояснено в що таке CPU steal time і як перевірити його на VPS, а обмеження добросовісного використання на тривалі періоди повного навантаження стримують інференс першими.

У Cobaltfell: Повне навантаження дозволене стільки, скільки потрібно вашій роботі: без CPU-кредитів, без вікна бурсту і без тротлінгу після кількох хвилин на 100%. RAM вашого плану зарезервована для вашого VPS і не перепідписується, тож завантажену модель ніколи не витісняє з RAM хост. Родина процесорів — AMD EPYC 9004/9005 (Zen 4 / Zen 5). Запускати модель на 100% дозволено; межа проведена в іншому місці: Майнінг будь-якої криптовалюти заборонено на будь-якому плані й будь-яким програмним забезпеченням. Ваша власна важка робота CPU, як-от збірки, кодування, інференс або бази даних, може виконуватися на повному навантаженні, а вузол, що лише валідує блокчейн, не є майнінгом.

Хости, що продають виділені vCPU, і ціну одного ядра порівняно в скільки коштує VPS з виділеним CPU за ядро в листопаді 2026.

Коли GPU — правильна відповідь для LLM?

GPU — правильна відповідь, коли швидкість на користувача, кількість користувачів або розмір моделі важливіші за вартість. Тест Leaseweb проводить ту саму межу: CPU підходить для пакетних, асинхронних і легких навантажень, тоді як GPU залишається попереду для робіт, критичних до затримки, високої конкурентності та моделей понад 20B параметрів без квантизації. Ще три випадки вказують на GPU:

• Моделі, більші за RAM. Fell 16 має 32 GB; модель 70B на 43 GB не вміщується в жоден план.
• Довгі промпти. Retrieval і чат із документами подають тисячі токенів до першого слова, і саме на цій стадії промпту CPU чекає найдовше.
• Тренування й донавчання. На практиці це роботи для GPU.

Cobaltfell не продає GPU. Для цих випадків правильна оренда — GPU-сервер, а CPU VPS тримають для API, черги й векторної бази навколо моделі. Відеокодування ставить те саме питання, відповідь у чи може VPS транскодувати відео за допомогою FFmpeg без GPU.