Ollama: qué es y cómo usar IA local en tu PC

¿Qué es Ollama?

Ollama es una plataforma de código abierto que permite descargar y ejecutar modelos de inteligencia artificial en macOS, Windows y Linux. El proyecto está publicado bajo licencia MIT.

Conviene aclarar una diferencia importante desde el principio: Ollama no es un modelo de inteligencia artificial. Es la herramienta que permite gestionar y ejecutar modelos.

Llama, Gemma, Qwen, Mistral, DeepSeek y otras familias son modelos desarrollados por diferentes organizaciones. Ollama proporciona una forma sencilla de utilizarlos desde un mismo entorno, principalmente mediante el terminal, su API o aplicaciones compatibles.

Para alguien que quiere experimentar con IA local, esto elimina buena parte de la complejidad inicial. Puedes instalar Ollama, descargar un modelo y comenzar a utilizarlo sin tener que construir desde cero todo el entorno necesario para ejecutar un LLM.

Además, Ollama proporciona una API HTTP local y bibliotecas para Python y JavaScript, lo que permite utilizar los modelos desde aplicaciones y automatizaciones.

Puedes consultar la documentación oficial de Ollama para conocer las opciones actuales de instalación, modelos e integración.

¿Por qué utilizar Ollama?

Una de las principales razones para utilizar Ollama es el control sobre los datos. Cuando ejecutas un modelo local, la inferencia se realiza en tu propio equipo, en lugar de enviar la consulta a un proveedor externo para procesarla.

Esto puede ser especialmente interesante al trabajar con documentos privados, código propietario o información que no quieres introducir en un servicio de IA externo.

Eso sí, hay que distinguir entre los modelos locales y los modelos cloud. Ollama también permite utilizar modelos alojados en sus servidores. En ese caso, el procesamiento no ocurre en tu ordenador y necesitas conexión a Internet.

Otra ventaja es el coste por consulta. Cuando utilizas un modelo local no tienes que pagar a un proveedor por cada token generado como ocurre con muchas APIs comerciales. Eso no significa que la IA local sea completamente gratuita: necesitas aportar el hardware, la electricidad y el almacenamiento necesarios.

También tienes mayor control sobre el entorno. Puedes elegir los modelos que quieres utilizar, cambiar de modelo cuando quieras y adaptar diferentes parámetros de generación.

Y una vez descargado un modelo local, puedes utilizarlo sin conexión a Internet, siempre que la tarea no dependa de una función externa.

IA local vs. IA en la nube

Ollama y servicios como ChatGPT o Claude no son exactamente el mismo tipo de producto. Los servicios comerciales proporcionan modelos propietarios y se encargan de toda la infraestructura necesaria para ejecutarlos. Ollama proporciona el entorno para utilizar modelos compatibles, especialmente modelos abiertos.

La elección depende del escenario. Si quieres privacidad, experimentar o reutilizar hardware que ya tienes, la ejecución local puede ser muy interesante. Si necesitas acceder a modelos muy grandes sin preocuparte por el hardware, la nube resulta más cómoda.

Ollama también permite utilizar modelos en la nube

Una de las novedades más importantes de Ollama es que la frontera entre local y cloud se ha vuelto menos clara. Ollama ofrece modelos cloud que permiten utilizar modelos demasiado grandes para determinados ordenadores domésticos mediante infraestructura remota.

La ventaja es que puedes mantener una experiencia similar y utilizar las mismas herramientas y API, pero cambiar dónde se realiza el procesamiento.

Puedes consultar los detalles en el anuncio oficial de Ollama Cloud .

En otras palabras, Ollama ya no tiene que significar exclusivamente “IA sin Internet”. Puede utilizarse como una puerta de entrada tanto a modelos locales como a modelos alojados en la nube.

¿Qué puedes hacer con Ollama?

Las posibilidades dependen principalmente del modelo que elijas. El uso más sencillo consiste en conversar con un modelo para hacer preguntas, generar textos, resumir información o analizar documentos.

También resulta especialmente interesante para programación. Ollama permite integrar modelos con herramientas actuales de desarrollo. Su comando ollama launch facilita la configuración de herramientas como Claude Code, OpenCode, Codex y Droid utilizando modelos locales o cloud.

Para los desarrolladores esto abre posibilidades interesantes: puedes utilizar un modelo local para analizar código, generar propuestas o trabajar sobre determinados proyectos sin tener que enviar necesariamente el código a un proveedor externo.

Ollama también dispone de una API que facilita la integración con aplicaciones propias. La compatibilidad con partes de la API de OpenAI permite incluso adaptar algunas aplicaciones existentes para trabajar con modelos ejecutados mediante Ollama.

Otra posibilidad es utilizarlo para construir sistemas RAG (generación aumentada por recuperación). Combinado con herramientas como LangChain, un modelo puede consultar información almacenada en documentos antes de generar una respuesta.

Esto permite crear asistentes internos, sistemas de consulta documental, buscadores semánticos y otras aplicaciones que trabajan con información propia.

¿Qué hardware necesitas para ejecutar Ollama?

Aquí conviene evitar una regla demasiado simplista del tipo “X GB de RAM para un modelo de X parámetros”. El consumo real depende de varios factores, entre ellos el modelo, su cuantización, el tamaño del contexto, la memoria disponible y si parte del modelo se ejecuta en CPU o GPU.

El contexto es especialmente importante. Aumentar el tamaño de contexto incrementa también la memoria necesaria para ejecutar el modelo. Por eso un modelo que funciona correctamente con un contexto pequeño puede requerir muchos más recursos cuando se utiliza con contextos largos.

La documentación oficial permite comprobar cómo se está ejecutando un modelo mediante ollama ps, incluyendo información sobre la distribución entre CPU y GPU.

Y aquí es donde los experimentos con hardware modesto resultan interesantes. No necesitas necesariamente una GPU de gama alta para comenzar a experimentar con IA local.

Ventajas y desventajas de Ollama

¿Merece la pena utilizar Ollama?

Para desarrolladores, aficionados a la inteligencia artificial y usuarios que quieren experimentar con modelos locales, Ollama merece la pena conocerlo. La instalación es relativamente sencilla, existe una amplia biblioteca de modelos y su API permite ir mucho más allá de una simple conversación.

También puede ser especialmente interesante para quienes trabajan con información sensible y quieren mantener el procesamiento dentro de su propia infraestructura.

Si lo que buscas es acceder a los modelos más potentes sin preocuparte por el hardware, los servicios cloud siguen teniendo una ventaja importante.

Pero la decisión no tiene por qué ser exclusiva. Puedes utilizar Ollama localmente para determinadas tareas y recurrir a modelos cloud cuando necesites más capacidad. Esa combinación es probablemente una de las partes más interesantes de la evolución de Ollama.