ROCm이 설치된 Linux에서 Ollama 설치 및 AMD GPU 환경 설정 매뉴얼

ROCm이 설치된 Linux에서 Ollama 설치 및 AMD GPU 환경 설정 매뉴얼

Ollama는 로컬 환경에서 다양한 LLM(대형 언어 모델)을 손쉽게 실행할 수 있게 해주는 도구입니다. 특히 AMD GPU와 ROCm 환경에서 Ollama를 활용하려면 몇 가지 중요한 설정이 필요합니다. 이 글에서는 ROCm이 설치된 Linux 환경에서 Ollama를 설치하고, AMD GPU를 인식하도록 환경 변수를 설정하는 방법을 단계별로 안내합니다.

1. Ollama 설치

Ollama를 설치하는 가장 간단한 방법은 공식 설치 스크립트를 사용하는 것입니다.

 

bash

curl -fsSL https://ollama.com/install.sh | sh

또는 수동 설치를 원한다면 아래 명령을 사용하세요.

 

bash

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/local/bin/ollama sudo chmod +x /usr/local/bin/ollama

2. ROCm 드라이버 설치

AMD 공식 사이트에서 최신 ROCm 드라이버를 설치하세요.
예시 (Ubuntu 기준):

 

bash

wget https://repo.radeon.com/amdgpu-install/6.4.1/ubuntu/jammy/amdgpu-install_6.4.60401-1_all.deb sudo apt install ./amdgpu-install_6.4.60401-1_all.deb sudo apt update sudo apt install rocm sudo usermod -a -G render,video $USER sudo reboot

드라이버 설치 후, 아래 명령어로 GPU 인식 상태를 확인하세요.

 

bash

sudo /opt/rocm/bin/rocm-smi

3. Ollama 서비스 파일 작성 및 환경 변수 설정

Ollama를 systemd 서비스로 등록하고, ROCm 환경 변수를 적용합니다.

아래 내용을 /etc/systemd/system/ollama.service 파일에 저장하세요.

 

text

[Unit] Description=Ollama Service After=network-online.target [Service] Type=simple User=ollama Group=ollama WorkingDirectory=/usr/share/ollama ExecStart=/usr/local/bin/ollama serve Restart=always RestartSec=3 Environment="HSA_OVERRIDE_GFX_VERSION=11.0.0" Environment="ROCR_VISIBLE_DEVICES=0" [Install] WantedBy=multi-user.target

• User/Group: 시스템 환경에 맞게 조정하세요.
• ExecStart: Ollama 실행 파일 경로를 확인해 주세요.
  (예시: which ollama 명령어로 경로 확인)
• Environment: GPU 모델에 맞는 값을 입력하세요.
  (RDNA3 계열: HSA_OVERRIDE_GFX_VERSION=11.0.0)

4. 서비스 적용 및 실행

서비스 파일을 저장한 후, 아래 명령어로 데몬을 리로드하고 서비스를 시작하세요.

 

bash

sudo systemctl daemon-reload sudo systemctl enable ollama sudo systemctl restart ollama

5. 환경 변수 적용 확인

아래 명령어로 환경 변수가 정상적으로 적용되었는지 확인하세요.

 

bash

sudo systemctl show --property=Environment ollama

정상적으로 적용되었다면 아래와 같이 출력됩니다.

 

text

Environment=HSA_OVERRIDE_GFX_VERSION=11.0.0 ROCR_VISIBLE_DEVICES=0

6. Ollama 동작 확인

Ollama가 정상적으로 실행되고 있는지 확인합니다.

 

bash

sudo systemctl status ollama

로그에서 GPU 인식 및 오류 메시지가 없는지 확인하세요.

7. GPU 사용량 모니터링

아래 명령어로 GPU 사용량을 실시간으로 확인할 수 있습니다.

 

bash

watch -n 1 rocm-smi

결론

이 매뉴얼을 따라하면 ROCm이 설치된 Linux 환경에서 Ollama를 설치하고, AMD GPU를 인식하도록 환경 변수를 설정할 수 있습니다.
설정 후 Ollama는 로컬 LLM 실행 및 추론 작업에 GPU를 활용할 수 있습니다.