기술 수정 · 2026년 8월 11일 확인
RTX 5090에서 Llama 4 Maverick을 실행할 수 있나요? 실제 한계
이전 가이드에서는 Llama 4 Maverick을 15~18GB VRAM에 완전히 맞는 70B 모델처럼 잘못 취급했습니다. Meta의 모델 카드에는 Maverick이 17B 활성화 매개변수와 400B 총 매개변수를 갖춘 전문가 혼합 모델이라고 나와 있습니다. 활성화된 매개변수는 토큰당 계산을 설명합니다. 이는 17B 가중치만 저장해야 한다는 의미는 아닙니다.
공식 출처 기반 조사
이 페이지는 오래되거나 근거가 부족한 주장이 있던 이전 버전을 대체합니다.
확인된 사실
Meta는 Llama 4 Maverick을 17B 활성화 매개변수, 128명의 전문가 및 1M 컨텍스트 창에서 400B 총 매개변수로 나열합니다.
Meta는 BF16 및 FP8 가중치를 배포하고 공식 FP8 가중치를 말합니다. 32GB 소비자 GPU가 아닌 단일 H100 DGX 호스트에 적합합니다.
타사 양자화는 시스템 RAM, CPU 또는 디스크 오프로드를 사용할 수 있지만 이는 전체 모델을 RTX 5090 VRAM에 유지하는 것과 다릅니다.
이전 Ollama 명령, 15~18GB 클레임 및 초당 80~120 토큰 벤치마크는 지원되지 않았습니다. 재현 가능한 증거 및 제거되었습니다.
현실적인 로컬 배포 결정
- 32GB VRAM에서 예측 가능한 단일 GPU 성능이 필요한 경우 더 작은 모델을 사용하십시오.
- 커뮤니티 양자화를 실험하는 경우 다운로드하기 전에 정확한 파일 크기, 런타임 지원, RAM 요구 사항, 컨텍스트 길이 및 측정된 속도를 확인하십시오.
- 벤치마크 결과를 구성별 구성(양자화, 오프로드 분할, 프롬프트 길이)으로 처리하십시오. 및 메모리 대역폭이 모두 성능을 변경합니다.