¿Puedo ejecutar Ollama o un LLM pequeño en un VPS con vCPU dedicadas sin GPU?

¿Qué modelos caben en la RAM de cada plan?

En una CPU, la RAM decide qué modelo se ejecuta y las vCPU deciden a qué velocidad se ejecuta. El modelo completo vive en la memoria del sistema, y el tamaño de descarga que muestra Ollama es una buena primera estimación de la memoria que ocupa. El contexto, el sistema y cualquier otra cosa en el VPS se suman: la documentación de Ollama dice que la RAM necesaria crece con OLLAMA_NUM_PARALLEL veces OLLAMA_CONTEXT_LENGTH, y el contexto predeterminado es de 4.096 tokens.

¿Qué tan rápida es la inferencia de LLM en una CPU?

La inferencia en CPU es más lenta que en una GPU por un margen que fijan los hilos, el ancho de banda de memoria y la cuantización. Cobaltfell no publica ninguna cifra propia de tokens por segundo: Nuestros propios resultados de YABS y Geekbench 6, junto con el steal time que midamos, se publicarán con su fecha en cuanto se entregue nuestra primera máquina de pruebas. Hasta entonces no damos ninguna cifra de rendimiento propia.

La cifra pública más útil es una prueba que Leaseweb publicó el 5 de abril de 2026 (página actualizada el 20 de agosto de 2026). En un servidor con dos procesadores AMD EPYC 9334 (Zen 4) ejecutando 24 hilos, la prueba generó 27.8 tokens por segundo con un modelo de 8B a cuantización de 4 bits (DeepSeek-R1-0528-Qwen3-8B, Q4_K_M), y 8.1 tokens por segundo con el mismo modelo en FP16. Una GPU NVIDIA L4 alcanzó 16.7 tokens por segundo con ese modelo en FP16. El tiempo hasta el primer token en Q4 varió de 3.6 a 4.8 segundos entre los modelos probados.

¿Cómo ejecuto Ollama en un VPS solo con CPU?

Instala Ollama con el script oficial, descarga un modelo que quepa en el plan y confirma que se ejecuta enteramente en la CPU. ollama ps muestra dónde reside un modelo cargado: su columna PROCESSOR indica 100% CPU en un VPS. Ollama escucha en 127.0.0.1, puerto 11434, por defecto; accede a él mediante un túnel SSH, o pon delante un proxy inverso con autenticación antes de cambiar OLLAMA_HOST.

# official install script for Linux
curl -fsSL https://ollama.com/install.sh | sh

# pull and run a model that fits the plan (here about 2.5 GB)
ollama run qwen3:4b "Summarize what a dedicated vCPU is in one sentence."

# where the model is loaded: expect 100% CPU
ollama ps

# service settings: add these two lines under [Service]
sudo systemctl edit ollama
#   Environment="OLLAMA_CONTEXT_LENGTH=4096"
#   Environment="OLLAMA_NUM_PARALLEL=1"
sudo systemctl daemon-reload
sudo systemctl restart ollama

¿Debería usar llama.cpp directamente?

llama.cpp es la elección cuando importan la cuantización, el número de hilos y los flags del servidor. Su README indica compatibilidad con AVX, AVX2, AVX512 y AMX en x86, y cuantización entera de 1,5 bits a 8 bits para reducir el uso de memoria y acelerar la inferencia. Incluye llama-bench, una herramienta de pruebas de rendimiento cuyos valores por defecto procesan un prompt de 512 tokens y generan 128 tokens, y que prueba varios recuentos de hilos en una sola ejecución.

Dos comprobaciones llevan un minuto en cualquier VPS: qué instrucciones vectoriales expone el procesador y si el modelo va más rápido con tantos hilos como vCPU o con un hilo por núcleo físico. En Cobaltfell, Una vCPU es un hilo de hardware del procesador del host. Los tuyos están fijados uno a uno a tu VPS y nunca se prestan a otro cliente, y los dos hilos de un núcleo físico permanecen juntos, así que cada 2 vCPU forman un núcleo entero que ningún vecino comparte, así que Fell 16 ofrece 16 hilos en 8 núcleos para comparar; la regla se explica en ¿un vCPU dedicado es un núcleo o un hilo?.

# vector instructions the VPS can use
grep -o -w -E 'avx2|avx512f|avx512_bf16|amx_tile' /proc/cpuinfo | sort -u

# prompt 512 tokens, generate 128, on 8 and then 16 threads
llama-bench -m qwen3-8b-q4_k_m.gguf -p 512 -n 128 -t 8,16

¿Qué cambian los vCPU dedicados para la inferencia?

La generación mantiene todos los hilos ocupados durante toda la longitud de una respuesta, así que el tiempo de CPU perdido se traduce directamente en tokens más lentos. En un vCPU compartido, la ráfaga de un vecino alarga cada respuesta en forma de steal time, explicado en qué es el steal time de CPU y cómo comprobarlo en un VPS, y los límites de uso razonable en periodos largos a plena carga limitan la inferencia en primer lugar.

En Cobaltfell: Se permite la carga completa durante todo el tiempo que tu trabajo lo necesite: sin créditos de CPU, sin ventana de ráfaga y sin limitación tras unos minutos al 100 %. La RAM de tu plan está reservada para tu VPS y no está sobreasignada, así que un modelo cargado nunca se ve expulsado de la RAM por el host. La familia de procesadores es AMD EPYC 9004/9005 (Zen 4 / Zen 5). Ejecutar un modelo al 100 % está permitido; la línea se traza en otro sitio: No se permite minar ninguna criptomoneda, en ningún plan y con ningún software. Tu propio trabajo intensivo de CPU, como compilaciones, codificación, inferencia o bases de datos, puede ejecutarse a carga completa, y un nodo que solo valida una blockchain no es minado.

Los hosts que venden vCPU dedicados, y el precio de un núcleo, se comparan en cuánto cuesta un VPS con CPU dedicada por núcleo en noviembre de 2026.

¿Cuándo es una GPU la respuesta correcta para un LLM?

Una GPU es la respuesta correcta cuando la velocidad por usuario, el número de usuarios o el tamaño del modelo importan más que el coste. La prueba de Leaseweb traza la misma línea: la CPU sirve para cargas de trabajo por lotes, asíncronas y ligeras, mientras que las GPU siguen por delante en trabajos críticos de latencia, alta concurrencia y modelos de más de 20B parámetros sin cuantización. Hay tres casos más que apuntan a una GPU:

• Modelos más grandes que la RAM. Fell 16 tiene 32 GB; un modelo de 70B a 43 GB no cabe en ningún plan.
• Prompts largos. La recuperación y el chat con documentos introducen miles de tokens antes de la primera palabra, y esa fase de prompt es donde una CPU espera más.
• Entrenamiento y fine-tuning. En la práctica, son trabajos de GPU.

Cobaltfell no vende GPU. Para esos casos, un servidor GPU es el alquiler correcto, con un VPS de CPU reservado para la API, la cola y la base de datos vectorial alrededor del modelo. La codificación de vídeo plantea la misma pregunta, respondida en ¿puede un VPS transcribir o transcodificar vídeo con FFmpeg sin GPU?.