Posso rodar Ollama ou um LLM pequeno em um VPS com vCPU dedicada e sem GPU?

Quais modelos cabem na RAM de cada plano?

Em uma CPU, a RAM decide qual modelo roda e as vCPU decidem quão rápido ele roda. O modelo inteiro fica na memória do sistema, e o tamanho do download que o Ollama mostra é uma boa primeira estimativa da memória que ele ocupa. O contexto, o sistema e qualquer outra coisa no VPS entram na conta por cima: a documentação do Ollama diz que a RAM necessária cresce com OLLAMA_NUM_PARALLEL vezes OLLAMA_CONTEXT_LENGTH, e o contexto padrão é de 4.096 tokens.

Quão rápida é a inferência de LLM em uma CPU?

A inferência em CPU é mais lenta que em GPU por uma margem definida pelas threads, pela largura de banda de memória e pela quantização. A Cobaltfell não publica nenhum número de tokens por segundo próprio: Os nossos próprios resultados do YABS e do Geekbench 6, junto com o steal time que medimos, serão publicados com a data assim que a nossa primeira máquina de teste for entregue. Até lá, não divulgamos nenhum número de desempenho nosso.

O número público mais útil é um teste que a Leaseweb publicou em 5 de abril de 2026 (página atualizada em 20 de agosto de 2026). Em um servidor com dois processadores AMD EPYC 9334 (Zen 4) rodando 24 threads, o teste gerou 27,8 tokens por segundo com um modelo de 8B em quantização de 4 bits (DeepSeek-R1-0528-Qwen3-8B, Q4_K_M), e 8,1 tokens por segundo com o mesmo modelo em FP16. Uma GPU NVIDIA L4 alcançou 16,7 tokens por segundo nesse modelo em FP16. O tempo até o primeiro token em Q4 variou de 3,6 a 4,8 segundos entre os modelos testados.

Como rodar o Ollama em um VPS somente com CPU?

Instale o Ollama com o script oficial, baixe um modelo que caiba no plano e confirme que ele roda inteiramente na CPU. ollama ps mostra onde um modelo carregado fica: a coluna PROCESSOR dele lê 100% CPU em um VPS. O Ollama escuta em 127.0.0.1, porta 11434, por padrão; acesse por um túnel SSH, ou coloque um proxy reverso com autenticação na frente antes de alterar OLLAMA_HOST.

# official install script for Linux
curl -fsSL https://ollama.com/install.sh | sh

# pull and run a model that fits the plan (here about 2.5 GB)
ollama run qwen3:4b "Summarize what a dedicated vCPU is in one sentence."

# where the model is loaded: expect 100% CPU
ollama ps

# service settings: add these two lines under [Service]
sudo systemctl edit ollama
#   Environment="OLLAMA_CONTEXT_LENGTH=4096"
#   Environment="OLLAMA_NUM_PARALLEL=1"
sudo systemctl daemon-reload
sudo systemctl restart ollama

Devo usar o llama.cpp diretamente?

O llama.cpp é a escolha quando a quantização, o número de threads e as flags do servidor importam. O README dele lista suporte a AVX, AVX2, AVX512 e AMX em x86, e quantização inteira de 1,5 bit a 8 bits para reduzir o uso de memória e acelerar a inferência. Ele vem com llama-bench, uma ferramenta de teste de desempenho cujo padrão processa um prompt de 512 tokens e gera 128 tokens, e que testa vários números de threads em uma única execução.

Duas verificações levam um minuto em qualquer VPS: quais instruções vetoriais o processador expõe, e se o modelo roda mais rápido com tantas threads quanto vCPU ou com uma thread por núcleo físico. Na Cobaltfell, Uma vCPU é um thread de hardware do processador do host. As suas são fixadas uma a uma ao seu VPS e nunca são emprestadas a outro cliente, e os dois threads de um núcleo físico ficam juntos, então cada 2 vCPU formam um núcleo inteiro que nenhum vizinho compartilha, então o Fell 16 oferece 16 threads em 8 núcleos para comparar; a regra é explicada em um vCPU dedicado é um núcleo ou uma thread.

# vector instructions the VPS can use
grep -o -w -E 'avx2|avx512f|avx512_bf16|amx_tile' /proc/cpuinfo | sort -u

# prompt 512 tokens, generate 128, on 8 and then 16 threads
llama-bench -m qwen3-8b-q4_k_m.gguf -p 512 -n 128 -t 8,16

O que os vCPU dedicados mudam para a inferência?

A geração mantém todas as threads ocupadas durante toda a extensão de uma resposta, então o tempo de CPU perdido se converte diretamente em tokens mais lentos. Em um vCPU compartilhado, o pico de um vizinho alonga cada resposta como steal time, explicado em o que é CPU steal time e como verificar em um VPS, e os limites de uso justo em longos períodos de carga total limitam a inferência primeiro.

Na Cobaltfell: Carga total é permitida pelo tempo que o seu trabalho precisar: sem créditos de CPU, sem janela de burst e sem throttling depois de alguns minutos a 100%. A RAM do seu plano é reservada para o seu VPS e não é overcommitted, então um modelo carregado nunca é empurrado para fora da RAM pelo host. A família de processadores é AMD EPYC 9004/9005 (Zen 4 / Zen 5). Rodar um modelo a 100% é permitido; a linha é traçada em outro lugar: Mineração de qualquer criptomoeda não é permitida, em nenhum plano e com nenhum software. O seu próprio trabalho pesado de CPU, como builds, encoding, inferência ou bancos de dados, pode rodar em carga total, e um nó que apenas valida uma blockchain não é mineração.

Hosts que vendem vCPU dedicado, e o preço de um núcleo, são comparados em quanto custa um VPS com CPU dedicada por núcleo em novembro de 2026.

Quando uma GPU é a resposta certa para um LLM?

Uma GPU é a resposta certa quando a velocidade por usuário, o número de usuários ou o tamanho do modelo importam mais que o custo. O teste da Leaseweb traça a mesma linha: a CPU serve para cargas em lote, assíncronas e leves, enquanto as GPUs continuam à frente para trabalho sensível à latência, alta concorrência e modelos acima de 20B parâmetros sem quantização. Mais três casos apontam para uma GPU:

• Modelos maiores que a RAM. O Fell 16 tem 32 GB; um modelo de 70B em 43 GB não cabe em nenhum plano.
• Prompts longos. Recuperação e chat com documentos alimentam milhares de tokens antes da primeira palavra, e é nesse estágio de prompt que uma CPU espera mais.
• Treinamento e ajuste fino. São trabalhos de GPU na prática.

A Cobaltfell não vende GPU. Para esses casos, um servidor com GPU é o aluguel certo, com um VPS de CPU mantido para a API, a fila e o banco de dados vetorial em torno do modelo. A codificação de vídeo levanta a mesma questão, respondida em um VPS consegue transcodificar vídeo com FFmpeg sem GPU.