Executando o Ollama no ambiente Docker

Executar o Ollama no Docker é a maneira mais prática de executar modelos de linguagem (LLMs) localmente, garantindo isolamento do sistema operacional e fácil gerenciamento.

O presente howto explica passo a passo para configurar o Ollama com Docker e instalar modelos, tanto com CPU quanto com GPU.

1. Pré-requisitos

A premissa é ter o Docker e Docker-Compose instalados, caso ainda não tenha, verifique Instalando Docker e Docker Compose no Linux (qualquer distro) ou Instalando Docker no Windows 10

Nvidia Container Toolkit (Para GPU): Se você tem uma GPU Nvidia e quer aceleração, instale o Nvidia Container Toolkit para o Docker reconhecer sua placa.

2. Executar o Ollama no Docker

Abra o seu terminal e utilize os comandos abaixo:

A. Apenas CPU

-d: Roda o contêiner em segundo plano (detached mode).

-v ollama:/root/.ollama:

Cria um volume chamado ollama para garantir que seus modelos baixados não sejam apagados quando o contêiner for reiniciado.

-p 11434:11434:

Mapeia a porta padrão do Ollama.

B. Com GPU NVIDIA (Aceleração) docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama --gpus=all:

Permite que o contêiner acesse a GPU.

3. Instalar e Rodar Modelos Abertos (Ollama Pull/Run)

Com o contêiner rodando, você pode "entrar" nele e baixar os modelos através da CLI (Interface de Linha de Comando).

Download de um modelo (ex: Llama 3.2):

docker exec -it ollama ollama pull llama3.2

Executar o modelo e interagir:

docker exec -it ollama ollama run llama3.2


Agora você pode conversar com o modelo diretamente no terminal.

Outros modelos populares:

docker exec -it ollama ollama run gemma2

docker exec -it ollama ollama run deepseek-r1

docker exec -it ollama ollama run qwen2.5
4. Como ver os modelos instalados e gerenciar

Para listar os modelos que você já baixou dentro do contêiner Docker, use:

docker exec -it ollama ollama list

Para remover um modelo:

docker exec -it ollama ollama rm nome_do_modelo
5. Dica Pro: Interface Web (Open WebUI)

Para ter uma experiência tipo "ChatGPT" com o Ollama no Docker, a melhor opção é o Open WebUI.

Use o docker-compose para rodar o Ollama e a interface gráfica juntos:

Crie um arquivo docker-compose.yml:

services:
  ollama:
    volumes:
      - ollama:/root/.ollama
    container_name: ollama
    image: ollama/ollama
    ports:
      - "11434:11434"
    networks:
      - ollama-net
    restart: always

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    volumes:
      - open-webui:/app/backend/data
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    networks:
      - ollama-net
    restart: always

networks:
  ollama-net:

volumes:
  ollama:
  open-webui:

Execute: docker-compose up -d

Acesse http://localhost:3000 no seu navegador.

Feito!