AMD RX580 두 개로 ollama 실행하기: 가능할까?

AMD RX580 두 개로 ollama 실행하기: 가능할까?

집에 AMD RX580 그래픽카드가 있는데 AI 모델을 로컬에서 실행해보고 싶으신가요? 흥미로운 질문이죠! 최근 오픈소스 AI 모델 실행 도구인 ollama가 AMD GPU 지원을 추가하면서 새로운 가능성이 열렸습니다. 과연 RX580 그래픽카드 두 개로 대형 언어 모델을 돌릴 수 있을까요? 함께 알아보겠습니다.

결론부터 말씀드리면, 가능합니다!

AMD RX580 그래픽카드 두 개로 ollama를 실행하는 것은 원칙적으로 가능합니다. 다만 공식 지원이 없기 때문에 몇 가지 추가 설정이 필요하고, 특히 Ubuntu 20.04와 같은 Linux 환경에서 더 잘 작동합니다.

왜 AMD RX580인가요?

NVIDIA GPU가 AI 연산에 더 효율적인 것은 사실이지만, 이미 가지고 있는 하드웨어를 활용하거나 예산이 제한적일 때 AMD RX580은 매력적인 대안이 될 수 있습니다. 특히 두 개를 사용하면 총 16GB VRAM을 확보할 수 있어 상당히 큰 모델도 돌릴 수 있습니다.

어떤 AI 모델을 실행할 수 있을까요?

RX580 두 개(16GB VRAM)로 실행 가능한 주요 모델들입니다:

• ✅ Llama 3 8B (약 8GB VRAM 필요)
• ✅ Mistral 7B (약 7GB VRAM 필요)
• ✅ Llama 2 13B (약 13GB VRAM 필요)
• ✅ Vicuna 13B (약 13GB VRAM 필요)
• ❌ Llama 3 70B (약 40GB VRAM 필요)
•  

성능은 어떨까요?

NVIDIA GPU와 비교했을 때 성능은 다소 제한적입니다. 예를 들어 Llama 3 8B 모델을 실행할 때:

• NVIDIA RTX 3060: 약 20-25 토큰/초
• NVIDIA RTX 4090: 약 90-100 토큰/초
• AMD RX 580 (단일): 약 10-15 토큰/초 (추정치)
• AMD RX 580 (듀얼): 약 15-20 토큰/초 (추정치)

하지만 간단한 채팅이나 텍스트 생성 용도로는 충분히 사용 가능한 수준입니다.

설치 방법: 간단 요약

1. Ubuntu 20.04 설치 (권장)
2. ROCm 3.5.1 설치 (RX580 지원 가능성 높음)
3. 환경 변수 설정: HSA_OVERRIDE_GFX_VERSION="8.0.0"
4. GPU 인식 확인: rocm-smi -l
5. ollama 설치
6. 다중 GPU 설정: ROCR_VISIBLE_DEVICES=0,1
7. 모델 다운로드 및 실행

전체 설치 과정은 다소 복잡할 수 있으며, Linux에 대한 기본 지식이 필요합니다. 자세한 단계별 가이드는 아래에서 확인하세요.

주의사항

이 방법은 완벽하지 않습니다. RX580은 ROCm에서 공식적으로 지원되지 않기 때문에:

• 일부 불안정성이 있을 수 있습니다
• 모든 기능이 완벽하게 작동하지 않을 수 있습니다
• 최신 모델은 지원되지 않을 수 있습니다
• Windows에서는 더 제한적일 수 있습니다

상세 설치 가이드: Ubuntu 20.04에서 RX580 두 개로 ollama 실행하기

1. 시스템 업데이트

sudo apt update && sudo apt upgrade -y

2. 필수 패키지 설치

sudo apt install -y build-essential git wget unzip libnuma-dev libpciaccess-dev libdrm-dev libelf-dev libudev-dev

3. ROCm 설치

sudo wget -O /etc/apt/sources.list.d/rocm.list https://repo.radeon.com/rocm/apt/debian/rocm.list
sudo apt-get install -y gpg
sudo gpg --no-default-keyring --keyring /usr/local/share/keyrings/rocm.gpg --import https://repo.radeon.com/rocm/rocm.gpg.key
sudo chmod a+r /usr/local/share/keyrings/rocm.gpg
sudo apt-get update
sudo apt-get install -y rocm-dkms rocm-utils rocm-opencl rocm-opencl-dev

4. RX580 강제 인식 설정

echo 'export HSA_OVERRIDE_GFX_VERSION="8.0.0"' >> ~/.bashrc
source ~/.bashrc

5. GPU 인식 확인

rocm-smi -l

6. ollama 설치

curl -L https://ollama.com/download/ollama-linux-AMD64.tar.gz | tar -xz -C /usr/local/bin/
chmod +x /usr/local/bin/ollama

7. 다중 GPU 설정

echo 'export ROCR_VISIBLE_DEVICES=0,1' >> ~/.bashrc
source ~/.bashrc

8. ollama 실행 및 테스트

ollama serve &
ollama pull llama3
ollama run llama3 "안녕하세요, 오늘 기분이 어떠세요?"

결론

AMD RX580 두 개로 ollama를 실행하는 것은 도전적인 과제이지만, 분명 가능합니다. 공식 지원이 없는 만큼 설정이 복잡하고 일부 불안정성이 있을 수 있지만, 이미 가지고 있는 하드웨어를 활용할 수 있다는 점에서 매력적인 대안입니다.

가정이나 소규모 프로젝트에서 AI 모델을 경험하고 싶다면, 고가의 NVIDIA GPU 구매 전에 기존 RX580으로 시도해볼 만한 가치가 있습니다. 특히 두 개를 동시에 사용하면 더 큰 모델도 실행할 수 있어 활용도가 높아집니다.

더 자세한 정보와 커뮤니티 지원은 ollama 공식 웹사이트와 GitHub의 RX580-rocM-tensorflow 가이드를 참조하세요.

호기심이 생기셨나요? 한번 도전해보세요! 😊