핵심 요약 (Executive Summary)
이번 포스트에서는 로컬 LLM 환경 구축 시 필수적으로 이해해야 하는 두 가지 핵심 개념인 **QAT(Quantization Aware Training)**와 **GGUF(GGML Unified Format)**에 대해 알아봅니다.
- 가장 핵심적인 차이는 적용 시점과 목적
- QAT는 모델 개발 단계에서 성능 저하를 최소화하기 위해 양자화를 전제로 학습하는 모델 제작 기술
- GGUF는 학습이 완료된 모델을 추론(Inference)에 최적화하여 배포하는 파일 형식
- GGUF는 RTX 4060과 같은 소비자용 GPU 환경에서 메모리 한계를 극복하고 대규모 모델(12B 이상)을 구동 가능하게 하는 결정적인 역할 >> 인기 많음
- 실무적으로는 Q4_K_M 양자화 수준이 성능과 메모리 효율 사이의 가장 우수한 균형점으로 권장
1. QAT와 GGUF의 핵심 개념 및 비교
두 기술 모두 ‘양자화(Quantization)’라는 범주에 속하나, 구체적인 역할과 대상에서 명확한 차이를 보입니다.
1.1 기술별 정의 및 특징
| 구분 | QAT (Quantization Aware Training) | GGUF (GGML Unified Format) |
| 의미 | 양자화 인식 학습 | GGML 통합 포맷 |
| 목적 | 학습 과정에서부터 양자화 적용을 고려 | 추론을 위한 모델 저장 및 실행 형식 |
| 적용 시점 | 모델 학습 및 미세 조정(Fine-tuning) 단계 | 모델 배포 및 실행(추론) 단계 |
| 주요 대상 | AI 연구자, 모델 개발자 | 일반 사용자, 로컬 LLM 사용자 |
| 대표 도구 | PyTorch, TensorFlow | llama.cpp, Ollama, LM Studio |
1.2 비유를 통한 이해
- QAT: 사진을 촬영할 때부터 나중에 SNS에 올릴 것을 고려하여 노출과 색감을 미리 조정하는 것과 같습니다. 즉, 최종 결과물의 품질을 위해 제작 단계에서 최적화를 진행하는 과정입니다.
- GGUF: 이미 촬영된 고해상도 사진을 용도에 따라 PNG, JPEG, WebP 등으로 저장 형식을 변환하는 것과 유사합니다. 사진의 내용은 유지하되 용량과 품질의 효율을 조절합니다.
2. QAT (Quantization Aware Training) 상세 분석
QAT는 모델이 나중에 낮은 비트(예: INT4)로 압축될 것을 미리 가정하고, 그 환경에 적응하며 학습하도록 유도하는 기법입니다.
- 장점:
- 양자화로 인한 정확도 손실이 매우 적음.
- 비교적 크기가 작은 모델에서도 높은 품질을 유지할 수 있음.
- 자원이 제한된 모바일이나 엣지(Edge) 환경에 적합함.
- 단점:
- 모델을 처음부터 다시 학습시키거나 추가 학습이 필요함.
- 상당한 수준의 GPU 자원이 소모됨.
- 전문적인 지식이 필요하여 일반 사용자가 직접 수행하기 어려움.
3. GGUF와 로컬 LLM 실행 환경
GGUF는 로컬 LLM 사용자에게 실질적으로 가장 중요한 표준 파일 형식입니다. 하나의 파일 내에 모델 구조, 가중치, 토크나이저, 메타데이터가 모두 포함되어 있어 관리가 용이합니다.
3.1 GGUF의 생성 및 장점
GGUF는 별도의 재학습 과정 없이, 기존의 고정밀 모델(FP16 등)을 다양한 양자화 수준으로 변환하여 생성합니다. 이를 통해 하드웨어 제약이 있는 로컬 환경에서도 모델 구동이 가능해집니다.
3.2 하드웨어 효율성 (RTX 4060 8GB 기준 예시)
양자화된 GGUF 형식을 사용하면 비디오 메모리(VRAM) 사용량을 획기적으로 줄일 수 있습니다.
| 모델 명칭 | FP16 (원본 대비 용량) | GGUF Q4 (양자화 후 용량) |
| Gemma 3 4B | 약 8GB | 약 3GB |
| Llama 3.1 8B | 약 16GB | 약 5GB |
| Gemma 3 12B | 약 24GB | 약 7~8GB |
위 데이터에서 알 수 있듯이, 8GB VRAM을 가진 RTX 4060 환경에서 원본(FP16)으로는 구동이 불가능한 12B급 모델도 GGUF Q4 형식을 통하면 원활한 실행이 가능합니다.
4. 양자화 레벨(Q-Level) 선택 가이드
GGUF 형식은 다양한 양자화 레벨을 제공하며, 사용자는 자신의 하드웨어 성능에 맞춰 품질과 속도 사이의 선택을 해야 합니다.
4.1 형식별 특성 비교
| 형식 | 품질 | 속도 | 메모리 사용량 |
| Q2 | 낮음 | 매우 빠름 | 매우 작음 |
| Q3 | 보통 | 빠름 | 작음 |
| Q4_K_M | 매우 좋음 | 빠름 | 작음 |
| Q5_K_M | 우수 | 보통 | 중간 |
| Q6_K | 매우 우수 | 약간 느림 | 큼 |
| Q8 | 최고 | 느림 | 큼 |
- 권장 사항: 현재 로컬 LLM 커뮤니티에서는 성능 유지와 메모리 절약의 균형이 가장 뛰어난 Q4_K_M 형식을 표준으로 널리 사용합니다.
4.2 하드웨어 사양별 모델 권장 최적화 (RAM 32GB, RTX 4060 8GB 기준)
| 모델 규모 | 권장 GGUF 양자화 레벨 |
| 3B ~ 4B | Q5_K_M |
| 7B ~ 12B | Q4_K_M |
| 14B | Q4_K_M 또는 Q3_K_M |
| 20B 이상 | 일부 레이어를 시스템 RAM으로 오프로딩하거나 상위 GPU 권장 |
결론 및 실무 제언
로컬 AI 환경을 구축하고 운영하는 관점에서는 모델 제작 기술인 QAT보다 배포 형식인 GGUF에 대한 이해가 훨씬 중요합니다.
- 일반 사용자 관점: QAT를 직접 수행할 필요는 거의 없으며, 이미 최적화되어 배포된 GGUF 파일을 활용하는 것이 효율적입니다.
- 모델 선택 전략: 사용 중인 하드웨어의 VRAM 용량을 고려하여, 8GB 내외의 GPU 환경에서는 Q4_K_M 또는 Q5_K_M 수준의 양자화 모델을 선택하는 것이 가장 실용적입니다.
- 운영 최적화: LM Studio, Ollama 등 GGUF를 지원하는 도구를 활용하면 단일 파일만으로 토크나이저와 메타데이터 설정을 한 번에 해결할 수 있어 환경 구축 시간을 단축할 수 있습니다.
참고자료 다운로드
로컬 LLM 압축 기법: QAT vs. GGUF 비교
https://drive.google.com/file/d/19oCX2NBn2zDICA00tHpTdHg9lmmZYJL4/view?usp=sharing
