[AI Agent #준비] Docker 설치 및 GPU 사용 설정

아래는 n8n, Ollama, 그리고 PostgreSQL을 설치하는 docker-compose.yml 파일과 GPU를 지원하는 구성을 추가한 예제입니다. Ollama에서 llama와 mistral 모델을 사용할 수 있도록 설정도 포함했습니다.

 

1. docker-compose.yml 생성

version: '3.9'
services:
  n8n:
    image: n8nio/n8n:latest
    container_name: n8n
    ports:
      - "5678:5678"
    environment:
      - N8N_BASIC_AUTH_ACTIVE=true
      - N8N_BASIC_AUTH_USER=admin
      - N8N_BASIC_AUTH_PASSWORD=admin
      - DB_TYPE=postgresdb
      - DB_POSTGRESDB_HOST=postgres
      - DB_POSTGRESDB_PORT=5432
      - DB_POSTGRESDB_DATABASE=n8n
      - DB_POSTGRESDB_USER=n8n_user
      - DB_POSTGRESDB_PASSWORD=n8n_password
    depends_on:
      - postgres
    restart: always

  postgres:
    image: postgres:14
    container_name: postgres
    environment:
      POSTGRES_USER: n8n_user
      POSTGRES_PASSWORD: n8n_password
      POSTGRES_DB: n8n
    volumes:
      - postgres_data:/var/lib/postgresql/data
    restart: always

  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    runtime: nvidia
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
      - NVIDIA_DRIVER_CAPABILITIES=compute,utility
    ports:
      - "11434:11434" # Default port for Ollama
    volumes:
      - ollama_data:/data
    restart: always

volumes:
  postgres_data:
  ollama_data:

 

2. GPU 설정

ollama 서비스에서 GPU 사용이 가능하도록 다음 설정을 포함했습니다:

• runtime: nvidia (NVIDIA GPU 사용)
• NVIDIA_VISIBLE_DEVICES=all (모든 GPU 접근 허용)
• NVIDIA_DRIVER_CAPABILITIES=compute,utility (필요한 GPU 기능 활성화)

 

3. Ollama에 GPU 지원 LLM 모델 설정

Ollama는 다양한 LLM을 지원합니다. GPU에서 효율적으로 실행 가능한 모델로는 아래 두 가지를 추천합니다:

• Llama3: Meta의 LLM으로 고성능 및 다양한 크기(7B, 13B 등)가 지원됩니다.
• Mistral: 경량화된 모델로 빠르고 메모리 효율적입니다.

 

Ollama에서 모델 설치는 CLI 명령으로 가능합니다. 예제 스크립트는 아래와 같습니다.

 

모델 설치 스크립트

# Llama2 모델 설치
docker exec -it ollama ollama pull llama2

# Mistral 모델 설치
docker exec -it ollama ollama pull mistral

 

4. 설치 및 실행 가이드

 

1. NVIDIA Container Toolkit 설치

• NVIDIA GPU 지원을 위해 NVIDIA Container Toolkit을 설치하세요.

2. Docker Compose 실행

docker-compose up -d

 

3. Ollama 모델 설치

실행된 컨테이너에서 모델 설치:

docker exec -it ollama ollama pull llama2
docker exec -it ollama ollama pull mistral

 

4. 서비스 확인

• n8n: http://localhost:5678
• Ollama: http://localhost:11434

 

이상입니다.