Czy mogę uruchomić Ollama lub mały LLM na VPS z dedykowanymi vCPU bez GPU?

Które modele mieszczą się w RAM każdego planu?

Na CPU to RAM decyduje, który model się uruchomi, a vCPU decydują, jak szybko będzie działał. Cały model żyje w pamięci systemowej, a rozmiar pobierania pokazywany przez Ollama to dobre pierwsze oszacowanie zajmowanej pamięci. Dochodzi do tego kontekst, system i wszystko inne na VPS: dokumentacja Ollama mówi, że wymagany RAM rośnie wraz z OLLAMA_NUM_PARALLEL razy OLLAMA_CONTEXT_LENGTH, a domyślny kontekst to 4096 tokenów.

Jak szybka jest inferencja LLM na CPU?

Inferencja na CPU jest wolniejsza niż na GPU o margines wyznaczany przez wątki, przepustowość pamięci i kwantyzację. Cobaltfell nie publikuje własnych danych o tokenach na sekundę: Nasze własne wyniki YABS i Geekbench 6, wraz z mierzonym przez nas steal time, zostaną opublikowane z datą, gdy tylko nasza pierwsza maszyna testowa zostanie dostarczona. Do tego czasu nie podajemy żadnych własnych wartości wydajności.

Najbardziej użyteczna publiczna liczba to test opublikowany przez Leaseweb 5 kwietnia 2026 (strona zaktualizowana 20 sierpnia 2026). Na serwerze z dwoma procesorami AMD EPYC 9334 (Zen 4) działającymi na 24 wątkach test wygenerował 27,8 tokena na sekundę z modelem 8B przy kwantyzacji 4-bitowej (DeepSeek-R1-0528-Qwen3-8B, Q4_K_M) oraz 8,1 tokena na sekundę z tym samym modelem przy FP16. GPU NVIDIA L4 osiągnął 16,7 tokena na sekundę na tym modelu przy FP16. Czas do pierwszego tokena przy Q4 wynosił od 3,6 do 4,8 sekundy w testowanych modelach.

Jak uruchomić Ollama na VPS z samym CPU?

Zainstaluj Ollama oficjalnym skryptem, pobierz model, który mieści się w planie, i potwierdź, że działa w całości na CPU. ollama ps pokazuje, gdzie znajduje się załadowany model: jego kolumna PROCESSOR pokazuje 100% CPU na VPS. Ollama nasłuchuje domyślnie na 127.0.0.1, port 11434; dotrzyj do niej przez tunel SSH albo postaw przed nią uwierzytelniający reverse proxy, zanim zmienisz OLLAMA_HOST.

# official install script for Linux
curl -fsSL https://ollama.com/install.sh | sh

# pull and run a model that fits the plan (here about 2.5 GB)
ollama run qwen3:4b "Summarize what a dedicated vCPU is in one sentence."

# where the model is loaded: expect 100% CPU
ollama ps

# service settings: add these two lines under [Service]
sudo systemctl edit ollama
#   Environment="OLLAMA_CONTEXT_LENGTH=4096"
#   Environment="OLLAMA_NUM_PARALLEL=1"
sudo systemctl daemon-reload
sudo systemctl restart ollama

Czy powinienem używać llama.cpp bezpośrednio?

llama.cpp to właściwy wybór, gdy liczą się kwantyzacja, liczba wątków i flagi serwera. W jego README wymieniono obsługę AVX, AVX2, AVX512 i AMX na x86 oraz kwantyzację całkowitą od 1,5 do 8 bitów, która zmniejsza zużycie pamięci i przyspiesza wnioskowanie. Dostarcza llama-bench, narzędzie do testowania wydajności, którego domyślne ustawienia przetwarzają prompt 512 tokenów i generują 128 tokenów, a w jednym przebiegu próbuje kilku liczby wątków.

Dwie kontrole zajmują minutę na dowolnym VPS: jakie instrukcje wektorowe udostępnia procesor oraz czy model działa szybciej na tylu wątkach, ile jest vCPU, czy na jednym wątku na rdzeń fizyczny. W Cobaltfell vCPU to jeden wątek sprzętowy procesora hosta. Twoje są przypięte jeden do jednego do Twojego VPS i nigdy nie są pożyczane innemu klientowi, a dwa wątki jednego fizycznego rdzenia trzymają się razem, więc każde 2 vCPU tworzą jeden pełny rdzeń, którego nie dzieli żaden sąsiad, więc Fell 16 daje 16 wątków na 8 rdzeniach do porównania; reguła jest wyjaśniona w is a dedicated vCPU a core or a thread.

# vector instructions the VPS can use
grep -o -w -E 'avx2|avx512f|avx512_bf16|amx_tile' /proc/cpuinfo | sort -u

# prompt 512 tokens, generate 128, on 8 and then 16 threads
llama-bench -m qwen3-8b-q4_k_m.gguf -p 512 -n 128 -t 8,16

Co dają dedykowane vCPU przy wnioskowaniu?

Generowanie zajmuje każdy wątek przez całą długość odpowiedzi, więc utracony czas CPU przekłada się bezpośrednio na wolniejsze tokeny. Na współdzielonym vCPU skok sąsiada wydłuża każdą odpowiedź jako steal time, wyjaśniony w what CPU steal time is and how to check it on a VPS, a limity fair use przy długich okresach pełnego obciążenia dławią wnioskowanie w pierwszej kolejności.

W Cobaltfell: Pełne obciążenie jest dozwolone tak długo, jak wymaga tego Twoja praca: bez kredytów CPU, bez okna burst i bez throttlingu po kilku minutach przy 100%. RAM Twojego planu jest zarezerwowany dla Twojego VPS i nie jest overcommitowany, więc załadowany model nigdy nie jest wypychany z RAM przez hosta. Rodzina procesorów to AMD EPYC 9004/9005 (Zen 4 / Zen 5). Uruchamianie modelu na 100% jest dozwolone; granica przebiega gdzie indziej: Wydobywanie jakiejkolwiek kryptowaluty jest niedozwolone, w żadnym planie i przy użyciu żadnego oprogramowania. Twoja własna ciężka praca CPU, taka jak buildy, kodowanie, inferencja czy bazy danych, może działać przy pełnym obciążeniu, a node, który jedynie waliduje blockchain, nie jest wydobywaniem.

Hosty sprzedające dedykowane vCPU oraz cenę jednego rdzenia porównano w what a dedicated CPU VPS costs per core in November 2026.

Kiedy GPU jest właściwą odpowiedzią dla LLM?

GPU jest właściwą odpowiedzią, gdy szybkość na użytkownika, liczba użytkowników lub rozmiar modelu liczą się bardziej niż koszt. Test Leaseweb wyznacza tę samą granicę: CPU pasuje do obciążeń wsadowych, asynchronicznych i lekkich, podczas gdy GPU pozostaje z przodu w pracy krytycznej dla opóźnień, przy wysokiej współbieżności i w modelach powyżej 20B parametrów bez kwantyzacji. Trzy kolejne przypadki wskazują na GPU:

• Modele większe niż RAM. Fell 16 ma 32 GB; model 70B przy 43 GB nie mieści się w żadnym planie.
• Długie prompty. Retrieval i czat z dokumentami podają tysiące tokenów przed pierwszym słowem, a to etap promptu, na którym CPU czeka najdłużej.
• Trenowanie i fine-tuning. W praktyce to zadania dla GPU.

Cobaltfell nie sprzedaje GPU. W tych przypadkach właściwym wynajmem jest serwer GPU, a VPS z CPU zostaje dla API, kolejki i bazy wektorowej wokół modelu. Kodowanie wideo rodzi to samo pytanie, na które odpowiadamy w can a VPS transcode video with FFmpeg without a GPU.