GPU 없이 전용 vCPU VPS에서 Ollama나 소형 LLM을 실행할 수 있나요?

각 요금제의 RAM에 맞는 모델은 무엇인가요?

CPU에서는 RAM이 어떤 모델이 실행되는지를 결정하고, vCPU가 얼마나 빠르게 실행되는지를 결정합니다. 모델 전체가 시스템 메모리에 올라가며, Ollama가 표시하는 다운로드 크기는 필요한 메모리의 좋은 첫 추정치입니다. 컨텍스트, 시스템, VPS의 다른 프로세스는 이 위에 더해집니다: Ollama 문서에 따르면 필요한 RAM은 OLLAMA_NUM_PARALLEL 곱하기 OLLAMA_CONTEXT_LENGTH로 커지며, 기본 컨텍스트는 4,096 토큰입니다.

CPU에서 LLM 추론은 얼마나 빠른가요?

CPU 추론은 GPU보다 느리며, 그 차이는 스레드, 메모리 대역폭, 양자화에 따라 결정됩니다. Cobaltfell은 자체적인 초당 토큰 수치를 공개하지 않습니다: 자체 YABS 및 Geekbench 6 결과와 측정한 steal time은 첫 테스트 장비가 도착하는 대로 날짜와 함께 공개됩니다. 그때까지는 자체 성능 수치를 제시하지 않습니다.

가장 유용한 공개 수치는 Leaseweb이 2026년 4월 5일에 공개한 테스트이며(페이지 2026년 8월 20일 갱신), 24개 스레드로 실행된 두 개의 AMD EPYC 9334 프로세서(Zen 4) 서버에서 8B 모델을 4비트 양자화(DeepSeek-R1-0528-Qwen3-8B, Q4_K_M)로 실행했을 때 초당 27.8 토큰을, 같은 모델을 FP16으로 실행했을 때 초당 8.1 토큰을 생성했습니다. NVIDIA L4 GPU는 해당 모델을 FP16으로 실행했을 때 초당 16.7 토큰에 도달했습니다. Q4에서 첫 토큰까지 걸린 시간은 테스트한 모델 모두 3.6~4.8초였습니다.

CPU 전용 VPS에서 Ollama를 어떻게 실행하나요?

공식 스크립트로 Ollama를 설치하고, 플랜에 맞는 모델을 pull한 다음, CPU에서만 실행되는지 확인합니다. ollama ps은 로드된 모델이 어디에 있는지 보여 줍니다. PROCESSOR 열이 VPS에서 100% CPU로 표시됩니다. Ollama는 기본적으로 127.0.0.1의 11434 포트에서 수신합니다. SSH 터널로 접속하거나, OLLAMA_HOST을 변경하기 전에 인증을 처리하는 리버스 프록시를 앞에 두세요.

# official install script for Linux
curl -fsSL https://ollama.com/install.sh | sh

# pull and run a model that fits the plan (here about 2.5 GB)
ollama run qwen3:4b "Summarize what a dedicated vCPU is in one sentence."

# where the model is loaded: expect 100% CPU
ollama ps

# service settings: add these two lines under [Service]
sudo systemctl edit ollama
#   Environment="OLLAMA_CONTEXT_LENGTH=4096"
#   Environment="OLLAMA_NUM_PARALLEL=1"
sudo systemctl daemon-reload
sudo systemctl restart ollama

llama.cpp를 직접 써야 하나요?

양자화, 스레드 수, 서버 플래그가 중요할 때는 llama.cpp가 선택입니다. README에는 x86에서의 AVX, AVX2, AVX512, AMX 지원과, 메모리 사용을 줄이고 추론 속도를 높이는 1.5-bit부터 8-bit까지의 정수 양자화가 나열되어 있습니다. 여기에는 llama-bench가 포함되어 있는데, 이는 성능 테스트 도구로 기본값이 512 토큰 프롬프트를 처리하고 128 토큰을 생성하며, 한 번의 실행에서 여러 스레드 수를 시도합니다.

어떤 VPS에서든 두 가지 점검은 1분이면 됩니다. 프로세서가 어떤 벡터 명령어를 노출하는지, 그리고 모델이 vCPU 수만큼의 스레드에서 더 빠른지 아니면 물리 코어당 하나의 스레드에서 더 빠른지입니다. Cobaltfell에서는 vCPU 하나는 호스트 프로세서의 하드웨어 스레드 하나입니다. 고객님의 vCPU는 VPS에 1대1로 고정되며 다른 고객에게 절대 빌려주지 않고, 물리 코어의 두 스레드는 함께 유지되므로 2 vCPU마다 이웃이 공유하지 않는 온전한 코어 하나가 됩니다이므로, Fell 16은 8코어에 16스레드를 제공해 비교할 수 있습니다. 이 규칙은 전용 vCPU는 코어인가 스레드인가에서 설명합니다.

# vector instructions the VPS can use
grep -o -w -E 'avx2|avx512f|avx512_bf16|amx_tile' /proc/cpuinfo | sort -u

# prompt 512 tokens, generate 128, on 8 and then 16 threads
llama-bench -m qwen3-8b-q4_k_m.gguf -p 512 -n 128 -t 8,16

전용 vCPU는 추론에 무엇을 바꾸나요?

생성은 답변 전체 길이 동안 모든 스레드를 바쁘게 유지하므로, 잃은 CPU 시간은 곧바로 느려진 토큰으로 이어집니다. 공유 vCPU에서는 이웃의 버스트가 steal 시간으로 각 응답을 늘리며, 이는 CPU steal 시간이란 무엇이고 VPS에서 확인하는 방법에서 설명합니다. 또한 장시간 풀부하 기간에 대한 공정 사용 한도는 추론을 가장 먼저 제한합니다.

Cobaltfell에서는 작업에 필요한 만큼 얼마든지 풀 부하를 허용합니다. CPU 크레딧도, 버스트 시간도, 100%에서 몇 분이 지난 뒤의 스로틀링도 없습니다입니다. 플랜의 RAM은 고객님의 VPS를 위해 확보되며 초과 할당되지 않습니다이므로 로드된 모델이 호스트에 의해 RAM에서 밀려나지 않습니다. 프로세서 제품군은 AMD EPYC 9004/9005(Zen 4 / Zen 5)입니다. 모델을 100%로 실행하는 것은 허용되며, 선은 다른 곳에 있습니다: 어떤 암호화폐든 어떤 플랜에서든 어떤 소프트웨어로든 채굴은 허용되지 않습니다. 빌드, 인코딩, 추론, 데이터베이스 같은 고객님의 무거운 CPU 작업은 풀 부하로 실행할 수 있으며, 블록체인을 검증만 하는 노드는 채굴이 아닙니다.

전용 vCPU를 판매하는 호스트와 코어 하나의 가격은 2026년 11월 전용 CPU VPS의 코어당 비용에서 비교합니다.

LLM에 GPU가 정답인 때는 언제인가요?

사용자당 속도, 사용자 수, 또는 모델 크기가 비용보다 중요할 때 GPU가 정답입니다. Leaseweb 테스트도 같은 선을 긋습니다. CPU는 배치, 비동기, 가벼운 워크로드에 적합하고, GPU는 지연이 중요한 작업, 높은 동시성, 양자화 없는 20B 파라미터 이상의 모델에서 앞서 있습니다. GPU를 가리키는 사례가 세 가지 더 있습니다:

• RAM보다 큰 모델. Fell 16은 32 GB입니다. 43 GB의 70B 모델은 어떤 플랜에도 들어가지 않습니다.
• 긴 프롬프트. 검색과 문서 채팅은 첫 단어 전에 수천 개의 토큰을 입력하며, CPU가 가장 오래 기다리는 곳이 바로 이 프롬프트 단계입니다.
• 학습과 파인튜닝. 실제로는 GPU 작업입니다.

Cobaltfell은 GPU를 판매하지 않습니다. 그런 경우에는 GPU 서버가 맞는 임대이며, 모델을 둘러싼 API, 큐, 벡터 데이터베이스용으로 CPU VPS를 유지합니다. 비디오 인코딩도 같은 질문을 제기하며, VPS가 GPU 없이 FFmpeg로 비디오를 트랜스코딩할 수 있나요에서 답합니다.