"RTX 4090으로 ComfyUI에서 동영상을 애니메이션 스타일로 업스케일링하는 완벽 가이드"

완벽 가이드: RTX 4090으로 ComfyUI에서 동영상을 애니메이션 스타일로 4K 업스케일링하는 방법 (2025년 최신)

안녕하세요! 오늘은 강력한 RTX 4090 GPU를 활용하여 일반 동영상을 아름다운 애니메이션 스타일로 변환하고 4K 해상도로 업스케일링하는 방법을 단계별로 알려드리려고 합니다. ComfyUI의 노드 기반 인터페이스를 사용하면 전문가 수준의 애니메이션 변환을 누구나 쉽게 할 수 있습니다. 특히 24GB VRAM을 갖춘 RTX 4090의 성능을 최대한 활용하는 최적화 워크플로우에 중점을 두겠습니다.

목차

1. 사전 준비 및 시스템 요구사항
2. 필요한 모델과 노드 설치
3. 워크플로우 설정 단계
4. RTX 4090 최적화 JSON 워크플로우
5. 워크플로우 사용 방법
6. 문제 해결 및 최적화 팁
7. 추가 리소스 및 커스터마이징

사전 준비 및 시스템 요구사항

하드웨어 요구사항

• GPU: NVIDIA RTX 4090 (24GB VRAM) - 필수
• 저장 공간: 최소 50GB (모델 및 비디오 파일용)
• RAM: 16GB 이상 권장
• OS: Windows 10/11 또는 Linux

ComfyUI 설치

1. ComfyUI GitHub에서 최신 버전 다운로드
2. 설치 지침에 따라 설정 완료
3. RTX 4090 최적화를 위한 실행 명령어:

python main.py --highvram

필요한 모델과 노드 설치

필수 모델 설치

모든 모델은 Civitai, OpenModelDB 또는 Hugging Face에서 다운로드 가능합니다.

모델 유형 추천 모델 저장 위치

체크포인트	DreamShaper_8.safetensors	ComfyUI/models/checkpoints/
업스케일 모델	4x-AnimeSharp.pth 또는 4x-UltraSharp.pth	ComfyUI/models/upscale_models/
AnimateDiff 모델	mm-Stabilized_high.pth	ComfyUI/models/animatediff_models/
ControlNet 모델	control_v11f1e_sd15_tile.pth	ComfyUI/models/controlnet/
IPAdapter 모델	ip-adapter_sd15.safetensors	ComfyUI/models/ipadapter/

필수 커스텀 노드 설치

ComfyUI Manager를 사용하거나 아래 명령어로 필요한 노드를 직접 설치하세요:

# ComfyUI/custom_nodes/ 디렉토리에서 실행
git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git
git clone https://github.com/Fannovel16/comfyui_controlnet_aux.git
git clone https://github.com/Fannovel16/ComfyUI-Frame-Interpolation.git
git clone https://github.com/Fannovel16/ComfyUI-VideoHelperSuite.git
git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus.git

워크플로우 설정 단계

애니메이션 스타일로 비디오를 업스케일링하는 워크플로우는 다음과 같은 단계로 구성됩니다:

flowchart TD
    A[VHS_LoadVideo] --> B[ImageBatch]
    B --> C[ControlNetApply]
    D[ControlNetLoader] --> C
    C --> E[IPAdapter]
    F[IPAdapterModelLoader] --> E
    G[Reference Image] --> E
    E --> H[KSampler]
    I[AnimateDiffLoader] --> H
    J[CheckpointLoader] --> H
    H --> K[VAEDecode]
    K --> L[ImageUpscaleWithModel]
    M[UpscaleModelLoader] --> L
    L --> N[RIFE VFI]
    N --> O[VHS_VideoCombine]

단계별 워크플로우 설명

1. 비디오 로드 (VHS_LoadVideo):
   • 입력 비디오 경로 설정 (예: C:/videos/input.mp4)
   • frame_load_cap: 96 (처리할 최대 프레임 수)
   • select_every_nth: 1 (모든 프레임 사용)
2. 스타일 적용 (ControlNet + IPAdapter):
   • ControlNet Tile로 원본 비디오 구조 유지
   • strength: 0.7 (원본 비디오 구조 유지 강도)
   • IPAdapter로 애니메이션 스타일 참조 이미지 적용
   • weight: 0.8 (스타일 적용 강도)
   • noise: 0.3 (창의성 조절)
3. 프레임 생성 (AnimateDiff + KSampler):
   • AnimateDiff:
     • model_name: "mm-Stabilized_high.pth"
     • context_length: 24 (프레임 간 일관성 유지 범위)
   • KSampler:
     • 프롬프트: "vibrant anime style, detailed characters, colorful backgrounds"
     • 네거티브 프롬프트: "blurry, low quality, artifacts"
     • denoise: 0.4 (원본 비디오 디테일 유지 정도)
     • steps: 25 (품질 조절)
     • cfg: 8.0 (프롬프트 충실도)
4. 업스케일링 (ImageUpscaleWithModel):
   • 모델: "4x-AnimeSharp.pth"
   • 업스케일 배율: 4x (720p 입력 → 4K 출력)
5. 프레임 보간 (RIFE VFI):
   • multiplier: 2 (프레임 속도 두 배 증가)
   • interpolation_model: "RIFE"
6. 비디오 결합 (VHS_VideoCombine):
   • frame_rate: 48 (부드러운 재생을 위한 높은 프레임 속도)
   • crf: 20 (비디오 품질 조절)
   • output_path: 출력 비디오 경로 설정

RTX 4090 최적화 JSON 워크플로우

AnimeStyleVideoUpscalingWithRTX4090inComfyUI.json.json

0.01MB

RTX 4090의 강력한 24GB VRAM을 최대한 활용하기 위한 JSON 워크플로우 파일입니다. 이 파일을 복사하여 workflow_anime_upscale_rtx4090.json으로 저장하고 ComfyUI에 로드하세요.

{
  "last_node_id": 28,
  "nodes": [
    {
      "id": 1,
      "type": "VHS_LoadVideo",
      "pos": [50, 50],
      "inputs": {
        "video_path": "C:/videos/input.mp4",
        "frame_load_cap": 96,
        "select_every_nth": 1
      },
      "outputs": {
        "IMAGE": ["2", 0],
        "frame_count": []
      }
    },
    {
      "id": 2,
      "type": "ImageBatch",
      "pos": [300, 50],
      "inputs": {
        "images": ["1", 0]
      },
      "outputs": {
        "IMAGE": ["3", 0]
      }
    },
    {
      "id": 3,
      "type": "ControlNetLoader",
      "pos": [300, 150],
      "inputs": {
        "control_net_name": "control_v11f1e_sd15_tile.pth"
      },
      "outputs": {
        "CONTROL_NET": ["4", 0]
      }
    },
    {
      "id": 4,
      "type": "ControlNetApply",
      "pos": [550, 150],
      "inputs": {
        "control_net": ["3", 0],
        "image": ["2", 0],
        "strength": 0.7
      },
      "outputs": {
        "IMAGE": ["6", 0]
      }
    },
    {
      "id": 5,
      "type": "IPAdapterModelLoader",
      "pos": [300, 250],
      "inputs": {
        "ipadapter_file": "ip-adapter_sd15.safetensors"
      },
      "outputs": {
        "IPADAPTER": ["6", 1]
      }
    },
    {
      "id": 6,
      "type": "IPAdapter",
      "pos": [550, 250],
      "inputs": {
        "image": ["4", 0],
        "ipadapter": ["5", 0],
        "reference_image": "C:/reference/anime_style.jpg",
        "weight": 0.8,
        "noise": 0.3
      },
      "outputs": {
        "IMAGE": ["7", 0]
      }
    },
    {
      "id": 7,
      "type": "AnimateDiffLoader",
      "pos": [300, 350],
      "inputs": {
        "model_name": "mm-Stabilized_high.pth",
        "context_length": 24
      },
      "outputs": {
        "ANIMATEDIFF": ["8", 0]
      }
    },
    {
      "id": 8,
      "type": "CheckpointLoaderSimple",
      "pos": [300, 450],
      "inputs": {
        "ckpt_name": "DreamShaper_8.safetensors"
      },
      "outputs": {
        "MODEL": ["9", 0],
        "CLIP": ["9", 1],
        "VAE": ["9", 2]
      }
    },
    {
      "id": 9,
      "type": "KSampler",
      "pos": [800, 350],
      "inputs": {
        "model": ["8", 0],
        "positive": "vibrant anime style, detailed characters, colorful backgrounds",
        "negative": "blurry, low quality, artifacts",
        "latent_image": ["6", 0],
        "animatediff": ["7", 0],
        "clip": ["8", 1],
        "steps": 25,
        "cfg": 8.0,
        "denoise": 0.4,
        "sampler_name": "euler_ancestral",
        "scheduler": "normal"
      },
      "outputs": {
        "LATENT": ["10", 0]
      }
    },
    {
      "id": 10,
      "type": "VAEDecode",
      "pos": [1050, 350],
      "inputs": {
        "samples": ["9", 0],
        "vae": ["8", 2]
      },
      "outputs": {
        "IMAGE": ["11", 0]
      }
    },
    {
      "id": 11,
      "type": "UpscaleModelLoader",
      "pos": [1050, 450],
      "inputs": {
        "model_name": "4x-AnimeSharp.pth"
      },
      "outputs": {
        "UPSCALE_MODEL": ["12", 0]
      }
    },
    {
      "id": 12,
      "type": "ImageUpscaleWithModel",
      "pos": [1300, 450],
      "inputs": {
        "upscale_model": ["11", 0],
        "image": ["10", 0]
      },
      "outputs": {
        "IMAGE": ["13", 0]
      }
    },
    {
      "id": 13,
      "type": "RIFE VFI",
      "pos": [1550, 450],
      "inputs": {
        "images": ["12", 0],
        "multiplier": 2,
        "interpolation_model": "RIFE"
      },
      "outputs": {
        "IMAGE": ["14", 0]
      }
    },
    {
      "id": 14,
      "type": "VHS_VideoCombine",
      "pos": [1800, 450],
      "inputs": {
        "images": ["13", 0],
        "frame_rate": 48,
        "crf": 20,
        "output_path": "C:/ComfyUI/output/upscaled_video.mp4"
      },
      "outputs": {}
    }
  ],
  "edges": []
}

워크플로우 사용 방법

JSON 파일 로드 및 설정

1. 위 JSON 코드를 복사하여 텍스트 편집기에 붙여넣기
2. 파일을 workflow_anime_upscale_rtx4090.json으로 저장
3. ComfyUI를 실행하고 인터페이스에서 Load 버튼 클릭
4. 저장한 JSON 파일 선택

입력 및 모델 설정 조정

1. 입력 파일 지정:
   • VHS_LoadVideo 노드에서 video_path를 실제 비디오 경로로 변경
   • IPAdapter 노드에서 reference_image를 애니메이션 스타일 참조 이미지로 설정
2. 모델 확인:
   • 모든 모델 노드의 모델 이름이 로컬 경로와 일치하는지 확인
   • 예: CheckpointLoaderSimple의 ckpt_name이 실제 체크포인트 파일명과 일치해야 함
3. 프롬프트 조정:
   • KSampler 노드의 positive와 negative 프롬프트를 원하는 스타일에 맞게 수정
   • 예시 프롬프트: "vibrant anime style, detailed characters, colorful backgrounds, sharp lines"

실행 및 출력

1. Queue Prompt 버튼을 클릭하여 워크플로우 실행
2. 처리 시간은 비디오 길이와 설정에 따라 다름 (RTX 4090 기준 약 1-5분/초)
3. 설정한 출력 경로(기본값: C:/ComfyUI/output/upscaled_video.mp4)에서 결과 확인

문제 해결 및 최적화 팁

RTX 4090 최적화 포인트

• 타일 크기: 기본값(1024x1024)으로 설정하여 24GB VRAM에서 4K 처리 가능
• 컨텍스트 길이: context_length: 24로 설정하여 프레임 간 일관성 유지하면서 메모리 사용량 최적화
• 프레임 로드 캡: 테스트용으로는 96, 전체 비디오는 적절히 조정
• 프레임 보간: RIFE VFI로 48fps 출력, 부드러운 애니메이션 효과 구현

일반적인 문제 해결

1. 모델 누락 오류:
   • 모든 모델 파일이 지정된 폴더에 있는지 확인
   • 필요한 모델은 Civitai나 Hugging Face에서 다운로드
2. 메모리 부족(OOM) 오류:
   • frame_load_cap을 48로 줄이기
   • context_length를 16으로 낮추기
   • ComfyUI 실행 시 --highvram 옵션 추가
   • 긴 비디오의 경우 배치 처리 사용
3. 스타일 적용 부족:
   • IPAdapter의 weight를 1.0으로 증가
   • ControlNet의 strength를 0.8-0.9로 높이기
   • 프롬프트에 더 구체적인 스타일 키워드 추가
4. 프레임 간 깜빡임:
   • AnimateDiff의 context_length를 32로 늘림(메모리 여유 시)
   • RIFE VFI의 multiplier를 4로 증가

긴 비디오 처리 전략

• 배치 처리: 긴 비디오는 30초 단위로 분할하여 처리 후 병합
• 테스트 먼저: 항상 5-10초 클립으로 워크플로우 테스트 후 전체 비디오에 적용
• 외부 도구 활용: 결과가 만족스럽지 않다면 Topaz Video AI로 추가 업스케일링 고려

추가 리소스 및 커스터마이징

다양한 애니메이션 스타일 적용

• 스튜디오 지브리 스타일: 프롬프트를 "Studio Ghibli style, soft watercolor backgrounds, detailed characters"로 변경
• 사이버펑크 애니메이션: "cyberpunk anime style, neon colors, futuristic city, detailed mechanical parts"
• 클래식 애니메이션: "classic 90s anime style, cel shading, vibrant colors"

업스케일링 모델 대안

• 고품질 디테일: 4x-UltraSharp.pth - 선명한 디테일에 최적화
• 애니메이션 최적화: 4x-AnimeSharp.pth - 애니메이션 라인과 색상에 최적화
• 균형 잡힌 결과: 4x-UniScale.pth - 범용 업스케일링

커뮤니티 리소스

• 워크플로우 공유: Civitai, OpenArt에서 추가 워크플로우 다운로드
• 튜토리얼: YouTube: "ComfyUI Video Upscaling" by Jerry Davos
• 포럼: GitHub ComfyUI Discussions에서 최신 팁과 트릭 확인