Docker Compose를 이용한 Ollama와 Open WebUI 설치 및 실행 가이드

Docker Compose를 이용한 Ollama와 Open WebUI 설치 및 실행 가이드

Docker Compose를 사용하면 Ollama와 Open WebUI를 간편하게 설정하고 실행할 수 있습니다. 아래 단계별 가이드를 따라 설치를 진행해 보세요.

1. 사전 준비사항

• Docker 및 Docker Compose 설치
  • Windows/Mac: Docker Desktop 설치
  • Linux: Docker와 Docker Compose 별도 설치
• 최소 시스템 요구사항:
  • CPU: 멀티코어 프로세서
  • RAM: 8GB 이상 (16GB 권장)
  • 저장공간: 모델에 따라 최소 10GB 이상 여유 공간
  • GPU (선택사항): NVIDIA GPU 또는 Apple Silicon

2. Docker Compose 파일 생성

1. 새 폴더 생성 (예: ollama-webui)
2. 해당 폴더 내에 docker-compose.yml 파일 생성
3. 아래 내용을 파일에 복사:

version: '3'

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    volumes:
      - ollama_data:/root/.ollama
    ports:
      - "11434:11434"
    restart: unless-stopped
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    
  open-webui:
    image: ghcr.io/open-webui/open-webui:latest
    container_name: open-webui
    volumes:
      - open_webui_data:/app/backend/data
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_API_BASE_URL=http://ollama:11434/api
      - WEBUI_AUTH=true  # 인증 활성화 (선택사항)
    depends_on:
      - ollama
    restart: unless-stopped

volumes:
  ollama_data:
  open_webui_data:

참고:

• NVIDIA GPU를 사용하지 않는다면 deploy 섹션을 제거해도 됩니다.
• Apple Silicon Mac의 경우 deploy 섹션이 필요 없습니다.

3. Docker Compose 실행

1. 터미널 또는 명령 프롬프트를 열고 docker-compose.yml 파일이 있는 폴더로 이동:

cd 경로/ollama-webui

1. Docker Compose 명령어로 서비스 실행:

docker-compose up -d

1. 서비스 실행 상태 확인:

docker-compose ps

4. Open WebUI 접속 및 설정

1. 웹 브라우저에서 http://localhost:3000 접속
2. 초기 설정 화면:
   • 사용자 계정 생성 (이메일, 비밀번호 설정)
   • Ollama 연결은 자동으로 설정됨 (http://ollama:11434)
3. "연결 테스트" 버튼으로 Ollama 연결 확인

5. 모델 다운로드 및 사용

1. Open WebUI 대시보드의 "모델" 탭에서 "모델 추가" 클릭
2. 원하는 모델 선택 (예: Llama2, Mistral, Gemma 등)
3. "다운로드" 버튼 클릭하여 모델 다운로드
4. 다운로드가 완료되면 "채팅" 탭에서 새 채팅 시작
5. 우측 상단에서 다운로드한 모델 선택 후 대화 시작

6. 고급 설정 및 팁

Docker Compose 명령어

• 서비스 중지: docker-compose stop
• 서비스 재시작: docker-compose restart
• 서비스 및 컨테이너 제거 (데이터는 유지): docker-compose down
• 서비스, 컨테이너, 볼륨 모두 제거: docker-compose down -v
• 로그 확인: docker-compose logs -f

환경 변수 설정

Open WebUI의 추가 환경 변수:

environment:
  - OLLAMA_API_BASE_URL=http://ollama:11434/api
  - WEBUI_AUTH=true                # 인증 활성화/비활성화
  - WEBUI_ALLOW_REGISTRATION=false # 추가 계정 등록 허용/비허용
  - WEBUI_DB_PATH=/app/backend/data/database.sqlite # DB 위치
  - WEBUI_ALLOW_UPLOADS=true       # 파일 업로드 허용/비허용
  - WEBUI_ALLOW_AUTOCOMPLETE=true  # 자동완성 기능 활성화/비활성화

GPU 사용 설정

• NVIDIA GPU: docker-compose.yml 파일에 이미 포함된 deploy 섹션 사용
• Docker Desktop (Windows/Mac): Docker Desktop 설정에서 GPU 지원 활성화
• Linux: nvidia-container-toolkit 설치 필요

7. 문제 해결

일반적인 문제

1. 컨테이너가 시작되지 않는 경우
2. # 로그 확인 docker-compose logs ollama docker-compose logs open-webui
3. Ollama에 연결할 수 없음
   • Ollama 컨테이너가 실행 중인지 확인
   • 네트워크 설정 확인
   • OLLAMA_API_BASE_URL 환경 변수가 올바른지 확인
4. 모델 다운로드 실패
   • 디스크 공간 확인
   • Ollama 컨테이너의 로그 확인
   • 직접 Ollama 컨테이너에서 모델 다운로드 시도:

   docker exec -it ollama ollama pull 모델명
   

5. GPU 인식 문제
   • GPU 드라이버 및 Docker GPU 설정 확인
   • NVIDIA Container Toolkit 설치 확인 (Linux)

   # GPU 인식 여부 확인
   docker exec -it ollama nvidia-smi
   

8. 서비스 업데이트

최신 버전으로 업데이트:

docker-compose pull
docker-compose up -d

---

이 가이드를 통해 Docker Compose를 이용하여 Ollama와 Open WebUI를 로컬 PC에서 쉽게 실행할 수 있습니다. 추가 질문이나 문제가 있으면 말씀해 주세요.

---

이제 Docker Compose를 사용하여 Ollama와 Open WebUI를 로컬 PC에서 쉽게 실행할 수 있습니다. 이 방법은 두 서비스를 함께 관리하고 설정하는데 있어 효율적인 방법을 제공합니다.