Ollama es un motor de inferencia que instala y ejecuta modelos de IA en servidores propios, ofreciendo una API compatible con OpenAI para consultas rápidas.
01¿Qué es y cómo funciona?
Ollama descarga un modelo pre‑entrenado (por ejemplo, Llama 2) y lo guarda en disco. Cuando recibe una petición HTTP POST, el motor carga el modelo en memoria, procesa el prompt y devuelve el texto generado. La arquitectura está basada en contenedores: cada modelo se ejecuta en su propio proceso, lo que permite escalar horizontalmente añadiendo más instancias. La API sigue el mismo esquema que la de OpenAI, por lo que los clientes que ya usan openai.ChatCompletion.create pueden apuntar a la URL local de Ollama sin cambiar código.
Ollama es un programa que corre modelos de IA en tu propia máquina y los expone como una API.
02¿Qué hacer esta semana?
Puedes probar Ollama en tres pasos simples:
- Instala Ollama siguiendo la guía oficial para tu sistema operativo.
- Descarga un modelo pequeño, como
llama2:7b, usando el comandoollama pull llama2:7b. - Configura tu aplicación para que la variable de entorno
OPENAI_API_BASEapunte ahttp://localhost:11434/v1y ejecuta una llamada de prueba.
03¿Cómo se detecta o mide?
Los rastreadores de IA‑search observan los encabezados User‑Agent y los patrones de URL (/v1/chat/completions). Si una petición coincide con la firma de la API de OpenAI pero la dirección IP pertenece a tu dominio, se marca como tráfico de Ollama. Además, los logs de Ollama incluyen métricas de latencia y uso de GPU que pueden exportarse a Prometheus y visualizarse en Grafana para comparar contra servicios externos.
04Errores habituales
- No asignar suficiente memoria GPU y terminar con respuestas truncadas.
- Olvidar actualizar la variable
OPENAI_API_BASEdespués de cambiar el puerto. - Usar un modelo demasiado grande para el hardware disponible, lo que provoca cuelgues del proceso.
05Límites y confusiones frecuentes
Ollama no sustituye a los servicios en la nube cuando necesitas escalado automático a miles de consultas por segundo; está pensado para entornos de desarrollo, pruebas o aplicaciones con tráfico moderado. A menudo se confunde con “Llama.cpp”, que es una biblioteca de inferencia diferente. Ollama tampoco ofrece entrenamiento de modelos, solo inferencia.
06Ejemplo práctico
"He configurado mi chatbot interno con Ollama y ahora responde en menos de 200 ms, sin depender de la red externa. Cambié la URL en mi código a http://localhost:11434/v1/chat/completions y todo funcionó al instante."Preguntas frecuentes
¿En qué se diferencia Ollama de los servicios de IA en la nube como OpenAI?
No, Ollama no es un servicio en la nube; se ejecuta en servidores propios. Descarga el modelo pre‑entrenado y lo guarda en disco, ofreciendo una API compatible con OpenAI. Así, el control de datos y la latencia dependen de tu infraestructura.
¿Cuándo debería usar Ollama en lugar de una API externa?
Depende de tus necesidades de control y coste; Ollama es útil para entornos de desarrollo, pruebas o aplicaciones internas. Si requieres escalado automático a miles de consultas por segundo, una API en la nube suele ser más adecuada. Evalúa el volumen esperado y la disponibilidad de recursos.
¿Cómo se instala y ejecuta un modelo con Ollama?
Para instalarlo, descargas el binario de Ollama y lo ejecutas en tu servidor. Luego, con un simple comando, solicitas la descarga del modelo (por ejemplo, Llama 2) y Ollama lo almacena en disco. Después, puedes invocar la API /v1/chat/completions como con OpenAI.
¿Sigue funcionando Ollama con los últimos modelos de Llama 2?
Sí, Ollama mantiene compatibilidad con las versiones públicas de Llama 2 siempre que el modelo esté disponible en su repositorio. La actualización se realiza mediante el mismo comando de descarga. Si el modelo se retira, deberás buscar una alternativa compatible.
¿Qué problemas aparecen si intento escalar Ollama a miles de consultas por segundo?
El principal riesgo es que el motor no está optimizado para ese nivel de concurrencia; podrías experimentar cuellos de botella de CPU o memoria. Además, los rastreadores de IA‑search podrían no detectar correctamente la alta carga. Notarás tiempos de respuesta crecientes y posibles errores de tiempo de espera.
¿Cuánto tiempo tarda en aparecer Ollama en los rastreadores de IA‑search después de su despliegue?
Normalmente, los rastreadores detectan la presencia de Ollama en cuestión de minutos si la API está expuesta. Observan los encabezados User‑Agent y las rutas /v1/chat/completions. Mientras tanto, puedes monitorizar los logs para confirmar que las peticiones llegan correctamente.
Preguntado en voz alta
dicho, no escritoEl mismo término en las palabras que alguien usa al hablar con un asistente en lugar de escribir en un buscador: escrito desde la situación, y por eso cada pregunta lleva la situación de la que salió.
Sí, el motor local responde en tiempo real porque el modelo está en tu propio servidor. Solo necesitas enviar la solicitud a la API compatible con OpenAI y recibirás la respuesta al instante.
Normalmente, puedes seguir probando porque el modelo ya está descargado y ejecutándose localmente. Sólo abre la aplicación cliente y envía la petición a localhost; no necesitas conexión externa.
Probablemente estás excediendo la capacidad de procesamiento que Ollama tiene en tu hardware. Reduce el número de peticiones concurrentes o escala la infraestructura antes de intentar miles de consultas simultáneas.