Claude Mythos 취약점 탐지 성능 벤치마크: ExploitBench, ExploitGym, SCONE 비교

2026.05.25 / 동준상.넥스트플랫폼
(AWS SAA, AWS AIF, GCP GenAI Leader)

Claude Mythos Vulnerability Detection Performance Benchmark: A Comparison of ExploitBench, ExploitGym, and SCONE
Claude Mythosの脆弱性検知性能ベンチマーク：ExploitBench、ExploitGym、SCONEの比較

https://red.anthropic.com/2026/exploit-evals

핵심 요약 (Executive Summary)

Claude Mythos Vulnerability Detection Performance Benchmark ExploitBench ExploitGym SCONE -infographic by NextPlatform

Claude Mythos Preview는 자율적인 공격 코드 개발 분야에서 이전 모델들을 압도하는 ‘단계적 변화(Step-change)’를 실현. 단순히 취약점을 찾는 수준을 넘어, 취약점을 공격 기본 요소(Primitive)로 변환하고 이를 결합하여 완전한 엔드투엔드(End-to-end) 공격 체인을 구축하는 능력을 입증

주요 벤치마크 결과:

ExploitBench: Javascript V8 엔진을 대상으로 한 테스트에서 다른 모델들이 실패한 샌드박스 탈출 및 임의 코드 실행(ACE)을 유일하게 성공
ExploitGym: 리눅스 커널을 포함한 광범위한 타겟에서 226개의 플래그를 획득하며 독보적인 범용성 증명
SCONE-bench: 스마트 계약 취약점을 이용해 약 3,500만 달러 상당의 가상 자산을 탈취하며, 성능 배가(Doubling) 시간이 0.7개월로 가속화되고 있음을 입증

이러한 결과는 고도의 전문 지식이 필요한 공격 코드 개발이 점차 자동화되고 대중화(Commoditized)될 것임을 시사하며, 이에 따른 새로운 보안 검증 및 방어 체계의 필요성을 강조

취약점 공격 벤치마크 비교

벤치마크 이름	대상 시스템	측정 지표
ExploitBench	V8 JavaScript 및 WebAssembly 엔진 (Chrome, Node.js 등)	역량 단계 (T5~T1) 및 ACE 달성 수
ExploitGym	OSS-Fuzz 프로젝트, V8 엔진, 리눅스 커널	성공 횟수 (의도된 취약점 및 전체 플래그 획득 수)
SCONE-bench	스마트 컨트랙트 (Solidity 등)	총 수익 (USD, 로그 스케일)

1. ExploitBench: V8 엔진 공격 역량 분석

Claude Mythos Vulnerability Detection Performance Benchmark ExploitBench by NextPlatform

ExploitBench는 카네기 멜런 대학교와 Bugcrowd의 연구진이 개발한 벤치마크로, 단순한 개념 증명(PoC)을 넘어 실제 유해한 공격을 수행할 수 있는 역량을 측정합니다.

1.1 공격 역량 사다리 (Capability Ladder)

이 벤치마크는 공격 과정을 16개의 세부 역량과 5개의 계층으로 구분합니다.

T5 (Coverage): 취약한 코드 경로 도달
T4 (Reproduction): 버그를 유발하는 PoC 구축
T3 (Target primitives): V8 샌드박스 내 공격 요소 생성
T2 (Generic primitives): 샌드박스 탈출(프로세스 전반의 읽기/쓰기 권한 획득)
T1 (Full Control): 제어 흐름 탈취 또는 임의 코드 실행(ACE)

1.2 Mythos Preview의 성과

샌드박스 탈출의 유일성: Claude Opus 4.6 이후 모델들만 샌드박스 내부 공격 요소(T3) 개발에 진전을 보였으나, 샌드박스를 안정적으로 탈출(T2)한 모델은 Mythos Preview가 유일합니다.
임의 코드 실행(ACE): Mythos Preview는 41개의 CVE 환경 중 21개에서 ACE를 달성했습니다. 반면 다른 어떤 모델도 기본 환경에서 단 1건의 ACE도 성공시키지 못했습니다.
공격의 정밀도: CVE-2023-6702 분석 사례에서, Mythos Preview는 기존에 알려진 확률적이고 통제 불가능한 공격 방식 대신, 전문가들도 복잡성 때문에 포기했던 정교하고 결정론적인 공격 방식을 독자적으로 수행해냈습니다.

2. ExploitGym: 광범위한 타겟 및 범용성

Claude Mythos Vulnerability Detection Performance Benchmark ExploitGym by NextPlatform

ExploitGym은 OSS-Fuzz, V8 엔진, 리눅스 커널 등 전 세계적으로 가장 널리 사용되는 소프트웨어를 대상으로 모델의 공격 역량을 평가합니다.

2.1 평가 방식 및 환경

모델은 취약한 소스 코드, 빌드 스크립트, 실행 파일 및 원격 타겟을 제공받으며, 보안 정책상 도달 불가능한 특권 수준에서 코드를 실행하고 플래그를 획득해야 합니다. V8 샌드박스와 리눅스 커널의 KASLR과 같은 보안 완화 기술이 적용된 상태에서 테스트가 진행됩니다.

2.2 주요 결과

측정 지표	Claude Opus 4.6	Claude Mythos Preview
의도된 취약점 이용 성공	15회	157회
총 플래그 획득 (우회 경로 포함)	36회	226회

Mythos Preview는 모든 타겟 클래스에서 고른 향상을 보였으며, 특히 리눅스 커널 공격 코드를 빈번하게 개발할 수 있는 극소수의 모델 중 하나로 확인되었습니다.

3. SCONE: 스마트 계약 취약점 공격

Claude Mythos Vulnerability Detection Performance Benchmark SCONE by NextPlatform

SCONE-bench는 스마트 계약의 취약점을 찾아 가상 자산을 탈취하는 능력을 측정하며, 2026년 1월 1일 이후 보고된 최신 취약점들을 포함합니다.

탈취 규모: Mythos Preview는 총 3,500만 달러 규모의 스마트 계약을 공략했습니다. 이는 차상위 모델보다 1,500만 달러(약 75%) 더 높은 수치입니다.
성공률: 테스트된 모든 취약점을 성공적으로 공략한 모델은 Mythos Preview가 유일했습니다.
성능 발전 속도: 모델 출시 시점 대비 수익 창출 능력(공격 역량)을 분석한 결과, 기존 1.1개월이었던 성능 배가 시간이 0.7개월로 더욱 단축되었습니다. 이는 AI의 공격 역량 발전이 정체되지 않고 가속화되고 있음을 보여줍니다.

결론 및 향후 과제

Claude Mythos Vulnerability Detection for Multi-layered Defense by NextPlatform

Claude Mythos Preview의 등장은 자율 공격 코드 개발의 문턱을 획기적으로 낮추었습니다. 불과 몇 달 전 모델들이 보안책이 해제된 시뮬레이션 환경에서조차 고전했던 것과 달리, Mythos Preview는 실세계의 복잡한 소프트웨어를 대상으로 엔드투엔드 공격을 수행할 수 있습니다.

시사점

공격 지식의 보편화: 향후 6~12개월 내에 Mythos 수준의 역량이 널리 보급되면, 고도의 전문가 없이도 정교한 공격 코드 개발이 가능해질 전망
측정 역량의 중요성: 모델의 위험을 오판하지 않기 위해 더욱 정밀하고 엄격한 벤치마크(ExploitBench, ExploitGym 등)의 개발과 공개가 필수적