How FINRA operates PB-scale analytics on data lakes with Amazon Athena
https://d1.awsstatic.com/events/reinvent/2020/How_FINRA_operates_PBscale_analytics_on_data_lakes_using_with_Athena_ANT308.pdf
핵심 요약 (Executive Summary)
이번 포스트는 미국 금융산업규제기구(FINRA)가 구축한 Amazon Athena 기반의 페타바이트(PB)급 데이터 레이크 사례를 통해, AI 시대에 요구되는 엔터프라이즈 데이터 아키텍처의 핵심 원칙을 분석합니다.
FINRA의 사례는 단순한 데이터 분석 성공 사례를 넘어, ‘AI가 데이터를 얼마나 빠르게 이해하고 활용할 수 있는가’가 경쟁력이 된 오늘날 AI 네이티브 클라우드 설계의 교과서적인 역할을 합니다.
가장 핵심적인 함의는 스토리지와 컴퓨트의 완전한 분리, 메타데이터 중심의 데이터 관리, 그리고 서버리스(Serverless) 분석 환경의 구축이며, 이러한 구조는 데이터 이동을 최소화하고 AI 에이전트가 데이터를 탐색하기 위한 최적의 ‘지도’를 제공함으로써, 미래 지향적인 AI 플랫폼의 근간이 됩니다.
1. FINRA의 도전 과제와 기존 아키텍처의 한계
FINRA는 미국 금융시장을 감독하며 매일 수십억 건 이상의 거래 데이터를 분석해야 하는 막중한 임무를 수행한다. 이 과정에서 직면한 주요 제약 사항과 기존 시스템의 한계는 다음과 같다.
주요 제약 조건
- 데이터 규모: PB(Petabyte) 단위를 상회하는 막대한 데이터량.
- 규제 및 보안: 엄격한 금융 규제 준수, 감사 가능성(Auditability), 고도의 보안 요구사항 충족 필요.
기존 데이터 웨어하우스(DW)의 문제점
기존의 ‘Data Source → ETL → Database → Analytics’ 구조는 다음과 같은 치명적인 병목 현상을 야기했다.
- 비용 증가: 저장 및 ETL(추출·변환·적재) 과정에서의 막대한 비용 발생.
- 효율성 저하: 데이터 복제의 증가와 분석 지연 발생.
- AI 부적합성: 최신 데이터를 즉각 활용해야 하는 AI 환경에서 데이터 이동 중심의 구조는 경쟁력을 저하시킴.
2. Amazon Athena 기반의 혁신적 전환
FINRA는 데이터를 데이터베이스로 이동시키는 대신, S3(Simple Storage Service) 위에서 직접 SQL을 실행하는 구조를 채택함으로써 아키텍처의 근본적인 패러다임을 전환했다.
| 구분 | 기존 아키텍처 | FINRA의 신규 아키텍처 (Athena 기반) |
| 데이터 흐름 | 복잡한 ETL 과정을 통한 데이터 이동 | S3 저장소 위에서 필요할 때 즉시 읽기 |
| 자원 관리 | 스토리지와 컴퓨트가 결합된 형태 | 스토리지와 컴퓨트의 완전한 분리 |
| 인프라 관리 | 클러스터 구축 및 용량 계획 필요 | 서버리스(Serverless) 방식으로 관리 부담 제거 |
| 주요 장점 | 익숙한 관리 방식 | 비용 절감, 분석 속도 향상, 유연한 확장성 |
3. AI 시대를 위한 핵심 아키텍처 원칙
FINRA의 사례를 통해 도출된 AI 네이티브 클라우드의 핵심 설계 철학은 다음과 같다.
3.1. 데이터 흐름 우선(Data Flow First) 설계
서비스나 AI 모델을 먼저 선택하는 것이 아니라, 데이터가 어떻게 흐르고 관리될 것인지를 최우선으로 설계한다. AI는 데이터 위에서 실행되는 런타임일 뿐이며, 견고한 데이터 설계가 선행되어야 한다.
3.2. 메타데이터: AI의 지도(Map)
데이터 레이크는 단순히 파일을 저장하는 공간이 아니다. FINRA는 HERD(Hive Metastore)를 통해 테이블, 파티션, 스키마, 데이터 위치를 체계적으로 관리했다.
- AI 에이전트의 활용: AI 에이전트는 데이터를 직접 전수 조사하는 대신, 메타데이터를 통해 필요한 데이터를 탐색하고 Context를 파악한다.
- 결과: 메타데이터가 AI의 의사결정과 데이터 접근을 돕는 ‘지도’ 역할을 수행한다.
3.3. 서버리스 분석의 가치
서버리스 구조는 AI 워크로드의 불확실성을 해결하는 데 최적화되어 있다.
- Agentic Workflow: 리서치 에이전트가 질문을 인지하고, Athena를 통해 SQL을 실행하여 결과를 보고서로 작성하는 일련의 과정이 별도의 서버 구축 없이 자연스럽게 연결된다.
- 비용 효율성: 필요한 순간에만 컴퓨팅 자원을 사용하므로 예측하기 어려운 AI 사용량에 유연하게 대응 가능하다.
4. 2026년형 미래 아키텍처로의 진화
기술의 발전에 따라 FINRA의 모델은 더욱 고도화된 AI 데이터 플랫폼으로 진화할 전망이다.
- Apache Iceberg 기반 레이크하우스(Lakehouse): 기존의 읽기 중심 데이터 레이크를 넘어, ACID 트랜잭션, 타임 트래블(Time Travel), 스키마 진화(Schema Evolution)를 지원하여 데이터베이스처럼 동작하는 레이크하우스로 진화한다.
- Amazon Bedrock 기반 자연어 분석: 사용자가 SQL을 몰라도 자연어로 질문하면 생성형 AI가 데이터를 분석하는 ‘Text-to-SQL’ 환경이 구축된다.
- MCP(Model Context Protocol): AI 에이전트가 Athena를 하나의 도구(Tool)처럼 사용하여 다양한 데이터 소스를 표준 인터페이스로 연결한다.
- 벡터 검색(Vector Search)과 RAG: 정형 데이터(SQL 결과)와 비정형 데이터(PDF, 보고서, 뉴스 등)를 결합하여 AI가 더욱 깊이 있는 문맥을 이해하도록 지원한다.
5. 아키텍트가 얻을 수 있는 5가지 교훈
- Compute보다 Data가 먼저다: 좋은 데이터 플랫폼이 좋은 AI를 만든다. AI는 모델보다 데이터를 더 많이 소비한다.
- Storage와 Compute는 분리해야 한다: LLM과 GPU 기술은 급격히 변하지만, 데이터 저장 구조(Storage)는 안정적으로 유지되어야 변화에 유연하게 대응할 수 있다.
- Metadata가 AI의 Context가 된다: AI 에이전트가 데이터를 효율적으로 찾고 활용할 수 있도록 메타데이터 체계를 구축하라.
- Serverless가 AI와 가장 잘 맞는다: 예측 불가능한 AI 워크로드에는 사용한 만큼 지불하고 관리 부담이 없는 서버리스가 최적이다.
- Data Lake는 AI Platform의 기반이다: 성공적인 AI 프로젝트는 거의 예외 없이 견고한 데이터 플랫폼 구축에서 시작된다.
결론
FINRA의 Amazon Athena 사례는 시간이 흘렀음에도 불구하고 그 핵심 원칙이 AI 시대의 요구사항과 정확히 일치한다. 엔터프라이즈 데이터 플랫폼은 이제 단순한 저장소를 넘어 **’AI가 직접 이해하고 활용하는 AI 데이터 플랫폼’**으로 진화해야 한다. 아키텍트에게 중요한 질문은 “어떤 AI 모델을 쓸 것인가”가 아니라, **”AI가 가장 잘 일할 수 있는 데이터 플랫폼을 어떻게 설계할 것인가”**가 되어야 한다.
