2025.06.15 / 동준상 프로 (넥스트플랫폼, naebon@naver.com)

AX 전환기이자 격변기 속에서 글로벌 금융산업의 리더 기업들은 어떤 방식으로 새로운 기술을 수용하고 있을까요? 이번 포스트는 글로벌 최대 자산운용사인 블랙록과 JP 모건의 AI 에이전트 구현 기법과 전략, 교훈에 대해 소개합니다.

글로벌 최대 양대 자산운용사: 블랙록, JP 모건

---

목차

1부. JP 모건의 투자리서치 AI 에이전트 ‘Ask David’ 구현 전략
2부. 블랙록의 자산관리 AI 에이전트 ‘Aladdin Copilot’ 구현 전략
3부. 결론: JP 모건과 블랙록의 AI 에이전트 구현 전략 비교

---

1부. JP 모건의 투자리서치 AI 에이전트 ‘Ask David’ 구현 전략

* 참고: JP 모건의 정식 명칭은 JPMorgan Chase & Co이며, 미국 최대이자 세계 최대 은행으로서 2025년 6월 기준 시가총액은 1,050조원(7,610억달러)

프로젝트 개요

• Ask David: 수천 개의 금융 상품에 대한 투자 리서치를 자동화하기 위해 개발된 정교한 멀티 에이전트 AI 시스템
• 수십억 달러 규모 자산과 관련된 고위험 의사결정을 지원하는 엔터프라이즈급 시스템

---

P1. JP모건의 ‘Ask David’ (LangGraph 기반 AI 에이전트) 개요

1.1 투자 리서치용 AI 에이전트의 필요성

• 배경:
  • 투자 리서치팀은 수천 개의 투자 상품 리스트 관리
  • 각 상품은 수년간의 방대한 데이터에 기반
  • 질문이 발생할 때마다 분석가는 문서와 데이터베이스를 수동 탐색
• 문제점:
  • 반복적이고 비효율적인 수작업
  • 확장성 부족, 인사이트 전달에 제한
  • 자동화 필요성 대두

1.2 문제 해결을 위한 AI 에이전트 개발 전략

• 목표:
  • 투자 리서치 프로세스 자동화
  • 정확하고 신뢰도 높은 결과를 신속하게 제공
• 핵심 비전:
  • 리서치팀의 생산성을 향상시키는 AI 에이전트 구축
  • 인간 분석가를 대체하기보다 보완하고 지원하는 역할
• 비즈니스 임팩트:
  • 수십억 달러 자산의 정확한 분석과 리스크 완화
  • 투자 판단의 속도와 질 동시 확보

1.3 AI 기반 투자 리서치 도우미

• 역할:
  • 사용자의 질문에 대해 큐레이션된 답변과 인사이트 제공
  • 분석 자료, 데이터 기반 인사이트, 시각화 정보까지 자동 제공
• 특징:
  • 실시간 응답
  • 기존 팀이 수행하던 반복 업무 자동화
  • 인간 전문가와의 협업형 AI

1.4 기술 구현 및 미래 방향

• 기술 스택:
  • LangChain + LangGraph 조합으로 프롬프트 흐름 제어
  • 다양한 데이터 소스와 문서 검색 시스템 통합
• 구현 전략:
  • 프롬프트 구성 → 데이터 질의 → 요약 → 사용자 응답
  • 반복 가능한 워크플로우 설계
• 미래 비전:
  • Ask David를 더 많은 투자 분석 시나리오에 확장
  • 내부 직원 → 고객 사용으로 서비스 범위 확대 예정
  • 지속적인 학습과 피드백 반영으로 정교한 AI 에이전트 진화

---

P2. Ask David 구현 배경

2.1 Ask David: 도메인 특화형 QA 에이전트

• 구현 목표:
  • 투자 리서치 도메인 특화형 질의응답(QA) AI 에이전트
• 기능 요약:
  • 다양한 데이터 출처를 통합해 하나의 창구에서 답변 제공
  • 정형 데이터 + 비정형 문서 + 사내 분석 모델 기반 고도화된 인사이트 제공

2.2 Ask David의 핵심 데이터 소스

1. 정형 데이터 (Structured Data)
   • 수십 년간 축적된 포트폴리오, 수익률, 리스크 지표 등
   • 기존에는 각 시스템별 접근이 필요했음
   • 에이전트가 통합된 사용자 경험 제공
2. 비정형 데이터 (Unstructured Data)
   • 이메일, 회의록, 프레젠테이션, Zoom 녹화 등
   • 대규모 비정형 콘텐츠를 인사이트로 전환
3. 사내 전용 분석 모델
   • 백오피스 리서치팀의 고급 분석 툴 내장
   • 시각화 및 인사이트를 즉시 제공 가능

2.3 전통적 분석 프로세스의 문제점

• 기존 워크플로우:
  • 고객 질문 → 리서치팀 문의 → 데이터 수집 → 분석 → 프레젠테이션
• 문제점:
  • 시간이 오래 걸리고 반복 작업이 많음
  • 분석의 일관성, 확장성, 속도에 한계 존재
• 사례:
  • 특정 펀드 종료 사유에 대한 고객 질문 대응
  • 담당자 간 협업이 필요하고, 문서 및 이력 추적 작업 포함

2.4 AI 에이전트를 이용한 혁신적 해결 방식

• 새로운 접근:
  • 고객 미팅 중 바로 Ask David를 통해
    → 펀드 이력 조회
    → 종료 사유 분석
    → 유사 펀드 추천
    → 시각화 자료 생성
• 효과:
  • 실시간 의사결정 지원
  • 고급 분석을 모든 프라이빗 뱅커가 활용 가능
  • White-glove 서비스의 자동화 및 확장

2.5 실제 사용 시나리오: 고객 미팅 중 에이전트 호출

• 상황: 고객이 갑자기 특정 펀드의 상태에 대해 질문
• 과거 방식:
  • 회의 후 분석 요청 → 수작업 보고서 작성
• Ask David 활용:
  • 회의 중 바로 질의 → 데이터 분석 및 시각화 결과 제공
  • 빠르고 신뢰할 수 있는 대응 → 고객 신뢰도 상승

2.6 David의 의미와 미래 전망

• D.A.V.I.D의 의미:
  • Data
  • Analytics
  • Visualization
  • Insights
  • Decision-making
• 비전:
  • 투자 리서치의 자동화 + 개인화
  • 내부 전용 에이전트에서 → 외부 고객 대상 서비스로 확대
  • 모든 프라이빗 뱅커가 전문가 수준의 분석 결과에 실시간 접근 가능

---

P3. Ask David의 구현 방식

3.1 멀티 에이전트 시스템으로서 Ask David 구축 개요

• 설계방식:
  • Supervisor Agent가 전체 흐름을 조율하는 멀티 에이전트 시스템
• 핵심 구성:
  • Supervisor Agent (조율)
  • Structure Data Agent (정형 데이터)
  • Unstructured Data Agent (비정형 데이터)
  • Analytics Agent (사내 모델/분석 API)

3.2 지휘자로서 Supervisor Agent의 역할

• 사용자 의도 파악 → 적절한 서브 에이전트에 작업 분배
• 기억 관리:
  • 단기 메모리: 대화 중 맥락 유지
  • 장기 메모리: 사용자 이력 기반 맞춤형 경험 제공
• Human-in-the-loop:
  • 고난도/고위험 질문 시 인간 개입 트리거

3.3 정형 데이터 에이전트의 작동 방식

• 역할:
  • 자연어 → SQL 쿼리 또는 API 호출로 변환
  • 결과를 LLM이 요약
• 활용 예:
  • 펀드 수익률, 리스크 지표, 매입/환매 이력 등

3.4 비정형 데이터 에이전트의 작동 방식

• 전처리:
  • 문서, 회의록, 이메일 → 벡터화 → DB 저장
• RAG 적용:
  • 벡터 DB 기반 검색
  • 검색 결과를 요약해 실시간 응답 생성

3.5 고급 분석 처리: Analytics 에이전트, ReAct 에이전트

• 사내 분석 자산 활용:
  • 전용 모델 및 API 라이브러리
• 간단한 쿼리:
  • API를 직접 호출 (ReAct Agent 구조)
• 복잡한 분석:
  • LLM의 text-to-code 기능으로 코드 생성 후 실행
  • 사람의 검증(HITL) 포함

3.6 전체 워크플로우 구조: 질문 분기 기반 흐름 설계

• 플래닝 노드로 시작
• 좌측 흐름: 일반 질문 (ex. “금 투자 방법?”)
• 우측 흐름: 특정 펀드 관련 질문 (ex. “이 펀드 왜 종료됨?”)
• 모든 흐름 구성:
  • Supervisor Agent + 전문 Sub-Agents
  • 각 플로우에 개인화 + 리플렉션 + 요약 노드 포함

3.7 개인화 & 리플렉션: 커스텀 응답 생성

• 개인화 노드:
  • 동일 데이터 → 사용자의 역할별 맞춤 답변 제공
  • 예:
    • Advisor → 요약 응답
    • Due Diligence 전문가 → 상세 리포트
• 리플렉션 노드:
  • LLM Judge 사용
  • 응답이 부정확/비논리적이면 다시 시도

3.8 마무리: 요약 노드 (Summarization Node)

• 세 가지 작업 수행:
  1. 대화 내용 요약
  2. 사용자 메모리 업데이트
  3. 최종 응답 반환
• 효과:
  • 다음 질의 시 문맥 인식 가능
  • 지속적 성능 개선 및 맞춤화 기반

---

P4. Ask David 개발 과정에서 얻은 교훈

4.1 개발 전략 및 교훈

제목: Ask David 개발 여정에서 얻은 교훈

• 1. 간단하게 시작하라
  • 첫날은 단일 React Agent로 시작
  • 기능별 Agent (ex. RAG Agent)로 점진적 확장
  • 최종적으로 Supervisor 포함 멀티 에이전트 구조 완성
• 2. 빠르게 반복하고 점진적 통합
  • 안정적 성능 확보 후 → 멀티 에이전트 시스템에 통합
  • 현재는 의도(Intent)별 하위 플로우 구성 → 확장 용이

4.2 평가지향개발 (Evaluation-Driven Development) 전략

• 전략:
  • 전통적 AI 프로젝트보다 개발은 빠름 → 평가는 길고 중요
  • 정확도 + 다양한 메트릭으로 성능 점검
• 추천 메트릭 예시:
  • 요약: 간결성(conciseness)
  • 툴 호출: trajectory 평가
• 팁:
  • 하위 에이전트 단위로 개별 평가
  • LLM + SME 결합 평가 체계 구축 → 리뷰 자동화, 신뢰도 확보
• 결과:
  • Ground truth 없어도 다양한 기준으로 지속 개선 가능

4.3 최종 단계: Human-in-the-Loop

• 모델 성능 단계별 전략:
  1. 50% → 80%: 전처리 개선, chunking, 검색 최적화
  2. 80% → 90%: 의도별 subgraph 설계
  3. 90% → 100%: “The last mile” → 사람 개입이 핵심
• Human-in-the-Loop의 중요성:
  • 도메인 특화 정확도 확보를 위한 필수 전략
  • “Ask David는 언제든 Real David를 소환할 수 있다”
• 최종 메시지 (3대 핵심 전략):
  1. 빠른 반복 (Iterate fast)
  2. 조기 평가 (Evaluate early)
  3. 사람의 개입 유지 (Keep humans in the loop)

---

참고자료

JP 모건이 LangGraph를 이용해서 투자 리서치 전담 AI 에이전트 ‘Ask David’를 구현한 방법 (발표자: JP 모건, 프라이빗 뱅크 부문 David Odomirok, Zheng Xue)

JP모건의 ‘Ask David’는 수천 개의 금융 상품 리서치를 자동화하기 위해 개발된 멀티 에이전트 기반 AI 시스템이며, Ask David에 포함된 에이전트 중 하나인 Supervisor Agent는 사용자 의도를 파악해 서브 에이전트를 조율하고, 또 다른 에이전트들이 정형·비정형 데이터를 처리하고 고급 분석 기능도 제공한다. 최종적이며 중요한 의사결정에는 인간전문가의 개입 프로세스가 포함된다.

---

2부. 블랙록의 AI 에이전트 구현 전략

* 블랙록(BlackRock): 세계 최대 자산운용사, 운용 자산 규모(AUM)는 약 11조 달러. 글로벌 금융 시장에서 막대한 영향력을 지닌 기관 투자자이며, 주요 연기금·정부·기관이 고객

프로젝트 개요

• 블랙록 ‘Aladdin Copilot’: 글로벌 자산관리 시스템인 Aladdin 플랫폼에 통합된 AI 에이전트
• LangGraph 기반 멀티에이전트 아키텍처 채택
• 플러그인 레지스트리를 통해 50여개 개발팀이 도구와 에이전트를 모듈형으로 연결, 사용자 질문에 실시간으로 맞춤 응답을 제공
• 일일 CI/CD 평가를 통해 시스템의 신뢰성과 성능을 지속적으로 개선

---

P1. LangGraph 기반 자산운용 AI 에이전트 ‘Aladdin Copilot’ 구현 사례 분석

1.1 BlackRock의 자산관리 AI 에이전트 – Aladdin 플랫폼

• BlackRock 소개:
  • 세계 최대 자산운용사, AUM 약 11조 달러
• Aladdin 플랫폼:
  • 포트폴리오 관리부터 리스크 평가까지 통합 자산운용 솔루션
  • 전 세계 70개국, 수백 개 고객사 사용
  • 4,000명 이상의 엔지니어가 100개 이상 프론트엔드 앱 운영

1.2 Aladdin Copilot의 도입 배경: AI 기반의 차세대 자산운용 시스템 필요성

• AI 도입 목표:
  • 생산성 향상
  • 알파(Alpha) 창출
  • 사용자 맞춤형 경험 제공
• Aladdin Copilot 역할:
  • 플랫폼 전반에 걸쳐 에이전트 기반 개인화 지원 도우미
  • 적시 적소에 관련 데이터와 통찰 제공

1.3 자산관리 에이전트의 3대 핵심 가치

1. Aladdin 전문가화
   • 초보 사용자도 Aladdin 숙련자처럼 활용 가능
2. 개인화/맞춤화
   • 사용자별 업무 흐름에 최적화된 기능 제공
3. 데이터 접근성 민주화
   • 필요한 정보를 쉽게 찾고, 더 나은 투자 판단 가능

1.4 Aladdin Copilot 아키텍처 구조

• Plug-in Registry:
  • Aladdin 내 50~60개 엔지니어링 팀의 API/기능 연결 관리
• 개발팀 연동 방식:
  1. 기존 API 매핑 → 도구(tool)로 등록
  2. 복잡한 기능 → 커스텀 에이전트로 등록
• LangGraph 기반 설계로 통신 표준화

1.5 사용자 쿼리 처리 흐름: 사용자 질문 처리 라이프사이클

• 사용자가 질문 입력 → Copilot이 적절한 도구나 에이전트를 선택
• Agent/Tool 호출 → 결과 요약 및 시각화 → 사용자에게 응답
• Plug-in Registry를 통해 각 기능 연결

1.6 기술 구현 철학: 확장성과 유지보수를 고려한 설계

• 목표:
  • 도메인 전문가가 아닌 AI 팀도 쉽게 통합할 수 있도록 설계
  • 개발팀이 자율적으로 기능 등록 가능 (API 또는 에이전트)
• 강조점:
  • LangGraph 도입은 표준화된 에이전트 통신 체계 구축에 핵심

1.7 지향점: BlackRock의 금융-AI 융합 전략

• Aladdin Copilot은 단순 보조도구가 아닌 플랫폼 중심 연결 허브
• AI는 사용자 생산성과 투자 성과를 동시에 강화하는 핵심 도구로 작용
• LangGraph를 활용한 모듈형 설계와 확장 가능한 에이전트 아키텍처는
  다른 금융기관에도 적용 가능한 베스트 프랙티스 제공

---

P2. BlackRock ‘Aladdin Copilot’ 시스템 설계 방법

2.1 에이전트 통신 프로토콜 및 아키텍처 진화: LangChain 통합

• 초기에는 BlackRock 자체 커스텀 프로토콜 사용
• 최근에는 LangChain Agent Protocol, LangGraph 등 표준 솔루션 적극 검토 중
• 시스템 확장을 위해 플러그인 레지스트리 기반 설계를 유지

2.2 사용자 쿼리 예시 – 항공우주 섹터 노출도 분석

• 예시 질문: “Portfolio 1의 항공우주 섹터 노출도는?”
• 입력 시 수집되는 문맥 정보:
  • 현재 Aladdin 앱
  • 화면에 표시된 자산/위젯
  • 글로벌 사용자 설정
• 개인화된 응답을 위해 전체 문맥 고려

2.3 LangGraph 기반 쿼리 처리 흐름: Orchestration Graph

1. Input Guardrail Node:
   • 유해 콘텐츠/PII 식별 및 필터링
2. Filtering & Access Control:
   • 플러그인/툴 접근 권한 관리
   • 최적 후보 20~30개로 좁힘
3. Planning & Action Node (GPT-4 기반):
   • 툴 호출 경로 계획 및 실행 반복
4. Output Guardrail Node:
   • 헛소리(hallucination) 탐지 및 최종 응답 전달

2.4 예시 결과와 최종 사용자용 응답 생성

• 최종 응답: “Portfolio 1의 항공우주 섹터 노출도는 5%입니다.”
• 각 단계에서 책임 있는 AI 원칙과 문맥 기반 응답 유지
• 시스템은 자동으로 출처와 응답 정확성 검증을 병행

2.5 평가 체계의 중요성: 신뢰성 확보

• 수많은 경로 중 오류 발생 가능 지점 다수:
  • Guardrail → 필터링 → 계획 → 도구 호출 → 응답 생성
• 쿼리 흐름마다 LangTrace 기반 평가로 각 단계 성능 분석
• 실 운영 환경에서도 신뢰할 수 있도록 지속적 개선

2.6 실제 LangGraph 평가 예시: 툴 호출 중심 평가 워크플로우

• 단일 쿼리의 LangTrace 구조:
  • 입력 → 필터링 → 계획 → 툴 호출 → 응답 검증
• 커스텀 Output Guardrails와 도메인 기반 헛소리 탐지 모델 적용
• 각 요소가 LLM + 도메인 지식의 결합으로 작동

2.7 Supervisor 에이전트 중심 설계의 현황과 한계

• 현재는 대부분 기업들이 Supervisor 기반 구조 채택
  • 설계, 릴리스, 테스트가 간편
• 향후에는 에이전트 간 자율적 상호작용 구조로 확장 희망

2.8 Aladdin Copilot의 신뢰성과 확장성: 현실적인 문제를 해결할 수 있는 프로덕션 레벨 AI 에이전트

• Aladdin Copilot은 이미 전 세계 고객을 대상으로 실운영 중
• LangGraph 기반 멀티에이전트 시스템으로 확장 용이
• 평가-검증-도구-응답 흐름의 명확한 추적성 확보

---

P3. Aladdin Copilot 성능 평가 및 결론

3.1 평가주도개발 (EDD, Evaluation-Driven Development): LLM 시스템의 필수 전략

• Test-Driven Development (TDD) 개념을 LLM 개발에 적용
• 모든 시스템 프롬프트와 기대 동작에 대해 철저히 테스트
• 예: “투자 조언을 절대 하지 마라” → 정의된 행동을 기반으로 시나리오별 테스트 수행
• **정확성에 집착(paranoid)**하는 금융 산업 특성 반영

3.2 LLM 성능 평가 방식: System Prompt 단위 평가 프로세스

• 각 프롬프트마다:
  • Synthetic Data 생성
  • **SME(Subject Matter Expert)**와 협업해 Ground Truth 설정
  • LLM-as-a-Judge를 활용해 자동 평가
• 결과는 매일/모든 PR마다 실행되는 CI/CD 파이프라인에 통합

3.3 에이전트-API 평가: 오케스트레이션 및 에이전트 간 통신 평가

• 에이전트 간 또는 API 호출 시:
  • 파라미터, 문장 표현 정확히 전달됐는가?
  • 응답의 문맥 일치 여부 확인
• 종단 간 테스트 시나리오 구성을 개발자에게 제공

3.4 다단계 테스트: 테스트 구성과 정답 기준(ground truth) 설정

• Configuration Layer:
  • 어떤 앱에서, 어떤 포트폴리오, 어떤 자산/위젯이 로딩돼 있는가?
  • 다중 턴 시나리오 설정 가능 (이전 대화 히스토리 포함)
• Solution Layer:
  • 개발팀이 정답(ground truth)과 해결 경로 제공
  • 예:
    • Thread 1: 노출도 계산
    • Thread 2: 보유 가능 수량 확인
    • Thread 3: 현금 잔액 조회

3.5 검증 및 팀 피드백: CI/CD 기반의 일일 평가 루틴

• 매일 밤 자동 평가 수행
• 에이전트 라우팅 및 응답 정확성 지속 확인
• 각 팀에 실시간 피드백 리포트 제공
  • “당신의 플러그인은 이 쿼리에서 정확히 작동했습니다/실패했습니다”

3.6 결론: 엔터프라이즈 LLM 운영을 위한 핵심 전략

• Federated agent architecture의 필수 조건은 지속적이고 통계 기반의 평가 시스템
• 단일 쿼리 실패보다 시스템 전체 성능의 변화 추적이 중요
• 엔지니어링 리더의 핵심 조언:
  • “종단간 평가 시스템을 CI/CD 프로세스에 통합하라
  • 그래야 개선 여부를 빠르고 확실하게 알 수 있다.”

---

참고영상: 블랙록의 자산관리 AI 에이전트 – 알라딘 구현 전략

How BlackRock Built Production AI Agents for Asset Management with LangGraph | LangChain Interrupt

글로벌 최대 자산 운용사 중 하나인 블랙록이 전세계 100개 이상의 애플리케이과 연동되어 11조 달러 규모의 자산을 운용하는 AI 에이전트 기술 기반의 알라딘(Aladdin) 플랫폼을 구현한 방법과 과정, 교훈에 대해 설명합니다. 발표자: 브레넌 로살레스(Brennan Rosales), 페드로 비센테 발데즈(Pedro Vicente Valdez)

---

3부. 결론: JP 모건의 Ask David, 블랙록의 Aladdin Copilot 구현 전략 비교

아래는 JP Morgan의 Ask David와 BlackRock의 Aladdin Copilot이라는 AI 에이전트 구현 사례를 중심으로 양사의 특징, 공통점, 차이점, 그리고 시사점을 표 형태로 비교 정리한 내용입니다.

1. AI 에이전트 구현 비교: JP Morgan vs BlackRock

구분	JP Morgan – Ask David	BlackRock – Aladdin Copilot
도입 목적	투자 리서치 자동화	자산운용 전반의 사용자 생산성 강화
도입 부서	Private Bank 투자 리서치팀	전사 Aladdin 플랫폼 개발팀
AI 아키텍처	Supervisor + Sub-agent (RAG, SQL, Analytics 등)	Supervisor + Plugin Registry + GPT-4 Function Calling
데이터 활용	정형 데이터, 비정형 문서, 사내 분석 API	실시간 화면 맥락, 사용자 설정, 포트폴리오 정보
기술 스택	LangChain + LangGraph + ReAct + Text-to-Code	LangChain + LangGraph + Plugin Registry + GPT-4
에이전트 전략	의도(Intent)별 서브그래프 구성	앱 별 기능을 모듈화해 플러그인으로 등록
사람의 개입 (HITL)	라스트 마일(90→100%)에 SME 필수 개입	평가 및 테스트 시 SME 및 LLM Judge 병행
평가 전략	평가 기반 반복 개선 (prompt, flow 단위)	CI/CD 통합형 매일 자동 평가 (시나리오별 Ground Truth 활용)

2. 공통점

항목	설명
LangGraph 기반 멀티에이전트 시스템	둘 다 LangGraph를 활용하여 복잡한 워크플로우를 구성하고 조율
Supervisor 중심의 구조	에이전트 간 자율 협업보다는 Supervisor가 명시적으로 흐름을 관리
Evaluation-Driven Development	테스트와 평가를 개발 흐름에 통합해 신뢰성과 개선 방향 확보
Human-in-the-loop 중요성 강조	고위험 금융 도메인에서는 사람의 판단이 반드시 필요하다고 인식
기업 내 실 서비스 적용	둘 다 실 운영(프로덕션) 환경에서 전사 시스템에 통합됨

3. 차이점

항목	JP Morgan	BlackRock
도입 부서 중심성	투자 전문가 중심의 리서치팀 주도	AI 엔지니어 중심의 플랫폼 개발팀 주도
데이터 접근 방식	분석 모델을 에이전트에 통합	모든 기능을 Plugin 형태로 모듈화하여 통합
사용자 시나리오	특정 펀드 관련 질문 처리 중심	화면 맥락과 설정 기반 전사적 질문 처리
에이전트 활용 범위	Q&A 중심 리서치 자동화	전방위 플랫폼 UX 향상 및 작업 지원
CI/CD 수준	반복 개선 중심의 수동 관리 + 평가 루프	일일 자동화 평가 + 실시간 피드백 시스템 정착

4. 시사점

구분	시사점
1. 산업별 LLM 도입은 ‘현업 데이터 흐름’에 기반해야 한다	단순 챗봇이 아닌, 각 기업의 업무 문맥에 맞춘 에이전트 설계가 핵심
2. LangGraph는 복잡한 금융 워크플로우에 적합한 구조임이 검증	Agent 간 흐름 설계, 도구 호출, 평가 및 인간 개입까지 유연하게 구성 가능
3. ‘평가 중심 개발(Evaluation-Driven Dev)’은 신뢰성과 확장성을 동시에 제공	도입 초기부터 정량적 지표와 CI/CD 통합은 필수
4. 인간 전문가의 개입(HITL)은 고위험 산업에서 불가피한 필수요소	완전한 자동화보다 하이브리드 시스템 설계가 실용적

---

끝 / 감사합니다. / 넥스트플랫폼 동준상 프로 / 첫 포스팅: 25.06.15 / 마지막 포스팅: 25.06.23