핵심 요약 (Executive Summary)
Kimi-K3는 Moonshot AI에서 개발한 세계 최초의 3조(3T) 매개변수급 오픈 가중치 네이티브 멀티모달 에이전트 모델입니다. 이 모델은 장시간의 코딩, 복잡한 지식 작업 및 고도의 추론을 수행하도록 설계되었습니다. Kimi-K3는 2.8조 개의 총 매개변수와 104만 8,576토큰에 달하는 방대한 컨텍스트 창을 지원하며, Kimi Delta Attention(KDA) 및 Stable LatentMoE 아키텍처를 도입하여 이전 모델인 K2 대비 스케일링 효율을 약 2.5배 향상시켰습니다. 주요 벤치마크 평가 결과, GPQA Diamond 93.5, Terminal-Bench 2.1 88.3 등을 기록하며 최첨단(Frontier) 지능을 입증했습니다. 이 모델은 MXFP4 양자화 기술을 적용하여 광범위한 하드웨어 호환성을 제공하며, 현재 Hugging Face를 통해 가중치와 코드가 공개되어 있습니다.
PDF 슬라이드 | Kimi K3 Frontier Open Intelligence by NextPlatform
https://drive.google.com/file/d/1vbiCFjokcPN7WZhFhlSlkArYPRBBFO1D/view?usp=sharing
1. 모델 구조 및 기술적 사양
Kimi-K3는 Mixture-of-Experts(MoE) 아키텍처를 기반으로 하며, 효율적인 자원 사용과 고성능 추론을 동시에 달성하기 위해 설계되었습니다.
1.1 하드웨어 및 아키텍처 세부 정보
- 매개변수 규모: 총 2.8T(2.8조 개), 활성 매개변수 104B(1,040억 개).
- 레이어 구성: 총 93개 레이어로 구성 (Dense 레이어 1개, KDA 레이어 69개, Gated MLA 레이어 24개).
- MoE 구조 (Stable LatentMoE): 총 896개의 전문가 중 토큰당 16개를 활성화하며, 2개의 공유 전문가를 사용합니다.
- 컨텍스트 창: 1,048,576 토큰 (약 100만 토큰).
- 비전 인코더: 401M 매개변수 규모의 MoonViT-V2를 채택하여 시각 정보 처리를 지원합니다.
1.2 핵심 기술적 특징
| 항목 | 상세 내용 |
| 새로운 아키텍처 | Kimi Delta Attention(KDA) 및 Attention Residuals(AttnRes) 결합 |
| 스케일링 효율 | Kimi K2 대비 전체 스케일링 효율 약 2.5배 향상 |
| 활성화 함수 | SiTU-GLU 사용 |
| 어휘 크기 | 160K |
| 양자화 | SFT 단계부터 양자화 인식 학습(QAT) 적용 (MXFP4 가중치 / MXFP8 활성값) |
2. 주요 기능 및 에이전트 활용 역량
Kimi-K3는 단순한 언어 모델을 넘어, 도구 조율과 심층 조사가 가능한 ‘에이전트형’ 모델로서의 기능을 강화했습니다.
2.1 장시간 코딩 및 엔지니어링
- 최소한의 사람 감독으로 대규모 코드 저장소를 탐색하고 터미널 도구를 조율합니다.
- GPU 커널 최적화, 컴파일러 개발 등 고난도 엔지니어링 세션을 유지할 수 있습니다.
- 비전 능력을 활용하여 게임 개발, CAD 설계, 칩 설계 등의 작업을 수행합니다.
2.2 지식 작업 및 멀티모달 이해
- 에이전트형 지식 작업: 심층 조사와 더불어 대화형 시각화, 위젯, 대시보드 생성이 가능합니다.
- 멀티모달리티: 텍스트, 이미지, 비디오를 동일한 모델 내에서 이해하며 모션 디자인 및 비디오 편집 지원 범위까지 포함합니다.
3. 평가 결과 및 성능 분석
Kimi-K3는 주요 지능 및 에이전트 벤치마크에서 경쟁 모델(Claude Fable 5, GPT-5.6 Sol 등)과 대등하거나 우수한 성적을 기록했습니다.
3.1 분야별 주요 벤치마크 점수 (reasoning_effort=”max” 기준)
- 추론 및 지식: GPQA Diamond (93.5), AA-LCR (74.7), HLE-Full (도구 사용 시 56.0).
- 코딩: Terminal-Bench 2.1 (88.3), FrontierSWE (81.2), SciCode (58.7), Kimi Code Bench 2.0 (72.9).
- 에이전트 역량: BrowseComp (91.2), DeepSearchQA F1 (95.0), OSWorld-Verified (84.8).
- 비전 및 멀티모달: OmniDocBench (91.1), Video-MME (90.0), MathVision (Python 사용 시 97.8).
3.2 평가 조건 및 제약 사항
- 하네스 차이: 모델별로 평가 환경(Kimi Code, Claude Code, Codex 등)이 상이하므로 직접 비교 시 주의가 필요합니다.
- 컨텍스트 관리: BrowseComp의 높은 점수(91.2)는 300K 토큰에서 작동하는 컨텍스트 압축 전략을 사용한 결과이며, 전체 1M 토큰 창을 그대로 사용할 경우 90.4를 기록했습니다.
- 안전성 및 거부: Kimi Code Bench 2.0 평가에서 경쟁 모델인 Claude Fable 5와 GPT 계열은 사이버 보안 등의 작업에서 일부 거부(Refusal) 또는 폴백(Fallback)이 발생했음을 명시하고 있습니다.
4. 배포 및 사용 가이드
4.1 실행 환경 및 서빙
Kimi-K3는 다양한 추론 엔진과 호환되며 로컬 및 클라우드 환경에서 배포 가능합니다.
- 지원 엔진: vLLM, SGLang, TokenSpeed.
- API 호환성: OpenAI 및 Anthropic 호환 API를 제공하며
kimi-k3모델명을 통해 접근 가능합니다. - 배포 도구: Docker Model Runner(
hf.co/moonshotai/Kimi-K3) 및 Hugging Face Transformers 지원.
4.2 API 활용 시 주의사항 (Thinking Mode)
- 사고 모드(Thinking Mode): 사고 모드가 항상 활성화되어 있으며
reasoning_content를 반환합니다.reasoning_effort필드를 통해 “low”, “high”, “max” 중 선택할 수 있습니다. - 상태 보존: 다중 턴 대화나 도구 호출 시, API가 반환한
assistant메시지 전체(특히reasoning_content와tool_calls포함)를 그대로 다시 전달해야 모델의 추론 흐름이 유지됩니다.
5. 라이선스 및 접근성
- 라이선스: 코드 저장소와 모델 가중치 모두 Kimi K3 License 하에 공개되었습니다.
- 접근 경로: Hugging Face의
moonshotai/Kimi-K3레포지토리를 통해 모델 가중치와 기술 보고서를 확인할 수 있습니다. - 권장 프레임워크: 코딩 에이전트 용도로 활용 시 Kimi Code CLI를 사용할 것을 권장합니다.
