AI Agent 101: AI 에이전트의 개요, 기획, 개발, 사업화에 대한 모든 것

2025.06.25 / 넥스트플랫폼 동준상 프로

1부. 앤드류 응 교수가 정리해주는 AI 에이전트의 개념, 기획, 개발, 사업화

30년 이상 인공지능 기술의 전도사를 자처하며 특히 교육 부문에서 왕성하게 활동중인 앤드류 응(Andrew Ng) 교수는 LangChain 초기부터 자신이 운영하는 Coursera와 DeepLearning.AI를 통해 AI 에이전트 교육 콘텐츠 협업 관계를 유지했다고 하고요, 그래서 첫 번째 LangChain Interrupt 컨퍼런스의 키노트 연설자로 나서서 AI 에이전트에 대해 얘기하는 게 자연스럽게 느껴졌다고 합니다.

챗GPT의 도움을 받아 앤드류 응 교수의 AI 에이전트의 개념, 기획, 개발, 사업화에 대한 설명을 정리했습니다.

* Andrew Ng(앤드류 응) 교수: 세계적인 인공지능(AI) 전문가로, 스탠퍼드대 교수이자 Coursera 공동 창립자. 구글 브레인과 바이두 AI 그룹의 창립 멤버, DeepLearning.AI를 설립해 AI 교육 보급에 앞장. AI 대중화와 실용화에 큰 기여를 한 인물로 평가.

---

P1. AI 에이전트에 대한 관점

1.1 ‘AI 에이전트냐, 아니냐’는 논쟁보다 ‘에이전트의 자율성 수준’에서 접근

• 요즘 AI 에이전트 논쟁
  • 단순히 ‘에이전트냐, 아니냐’보다 **에이전틱 정도(degree of agenticness)**로 보는 것이 더 유용
• Andrew Ng의 제안: ‘AI 에이전트가 지닌 자율성’ 수준으로 구분
  • 시스템이 얼마나 자율적인가를 기준으로 스펙트럼식 접근 권장
  • “AI 기술이 사용되는 모든 시스템을 에이전틱 시스템으로 보고, AI 에이전트가 발휘할 수 있는 자율성을 기준으로 AI 시스템을 평가하는 것이 적절”

1.2 실무에서 보이는 에이전틱 시스템의 스펙트럼

• 실제 사용 예시
  • 복잡한 업무 흐름에선 AI 에이전트를 만들기 위해 LangGraph 사용이 적합해 보임
  • 하지만 많은 비즈니스 프로세스는 단순한 직선형 또는 소수의 분기 흐름만으로 구성
• 예: 웹 양식 확인 → 검색 → DB 조회 → 복사/붙여넣기 → 다른 양식 작성
• 에이전트 적용이 어려운 이유
  • 위와 같은 업무 프로세스 중 어느 부분을 자율화할지 결정하는 세분화(granularity) 판단이 실무적으로 어려운 일

1.3 비즈니스 프로세스를 에이전틱 시스템으로 전환하는 법

• 현재 과제
  • 기존 업무 흐름을 에이전틱 시스템으로 바꾸는 법을 익히는 것
• 필요한 역량
  • 프로세스 세분화 기술
  • 적절한 작업 단위 정의
  • 프로토타입 개선을 위한 성능 평가 방식 설계 (evals)
• 기업 내 희소한 역량
  • 이와 같은 전환 역량을 지닌 기획자, 개발자는 매우 드문 상황

1.4 모두가 복잡한 에이전틱 워크플로우 구현에 신경쓰지만

• 고급 워크플로우
  • 복잡한 루프, 조건, 툴 연결 등
  • 기술적으로 흥미롭고 높은 가치
• 하지만 현실은…
  • 여전히 수많은 단순한 업무 자동화 기회가 더 많음
  • “작고 단순한 자동화부터 실현하는 것이 ROI 측면에서 효과적”

1.5 향후 시사점: ‘작고 단순한 업무 요소부터 에이전트화’

• 조직 내 적절한 에이전틱 사고방식의 확산 필요
  • 이진적인 ‘Agent vs Not Agent’에서 벗어나자
• 실무자 중심의 접근법
  • 실제 비즈니스 업무에 에이전틱 모델을 적용할 수 있도록 교육과 도구 확대
• 결론
  • “모든 비즈니스는 에이전틱화될 수 있다. 다만, 적절한 도구와 분해 방법이 필요하다”

---

P2. AI 에이전트 기획자, 개발자가 익혀야 할 핵심기술

2.1 AI 에이전트 구현을 위한 핵심기술

• 에이전트 구축에 필요한 기본 역량
  • 복잡한 비즈니스 워크플로를 분석하고 자동화 흐름으로 변환
  • 다양한 부서(HR, 법무, 컴플라이언스)와의 데이터 통합 및 처리
• 중요 포인트
  • LangGraph 같은 통합 도구 활용
  • 다단계 프롬프트 설계 및 처리
  • 전체 시스템의 성능 측정 및 조정

2.2 성능 측정(Eval)의 중요성과 접근법

• Eval 프레임워크 필요성
  • 전체 성능뿐 아니라 세부 단계별 오류 원인 추적
  • 프롬프트 단위로 성능 분석
• 비효율적 접근
  • 수작업 평가(Human eval)에만 의존
  • 변경 시 마다 수동으로 출력 검토 → 속도 저하
• 효율적 팀의 특징
  • 빠르게 시스템 평가 및 병목 지점 탐색
  • ‘작동하지 않는 건 과감히 포기’하는 전략적 판단

2.3 경험 기반의 촉감적(tactile) 의사결정

• 숙련 팀 vs 초보 팀
  • 초보 팀: 한 컴포넌트 개선에 몇 달 소요
  • 숙련 팀: 불가능한 방식은 빠르게 포기하고 우회 전략 선택
• 필요한 능력
  • 출력과 로그(trace)를 보고 몇 분 ~ 몇 시간 내 결정
  • 빠른 실험 → 빠른 실패 → 빠른 개선

2.4 다양한 AI 도구의 활용

• 최근 몇 년간 AI 생태계 발전
  • LangGraph, RAG, chatbot, memory, eval, guardrail 등 다채로운 도구 등장
• Andrew Ng의 비유
  • 다양한 AI 도구 = 다양한 색깔과 모양의 레고 블록
  • 블록이 많을수록, 다양한 것을 조립해 빠르게 구현 가능

2.5 도구 사용 경험의 차이

• 도구 경험의 차이 → 개발 속도의 차이
  • 익숙한 사람: 특정 문제에 적합한 도구를 빠르게 연결
  • 미숙한 팀: 3개월 소요될 일을 경험자는 몇 시간 만에 해결
• 사례
  • Eval 구현 시 LLM을 평가자로 사용 → 자동화 가능

2.6 하나의 도구가 아닌 조합 능력이 중요

• AI 개발 현실
  • 하나의 만능 도구는 없음
  • 실제 코딩 시 수많은 도구들을 조합하여 사용
• Andrew Ng의 조언
  • 도구별 사용법 마스터보다는 조립 능력과 실험 경험이 더 중요

2.7 도구 트렌드의 변화 – 예: RAG

• 과거: RAG 성능 개선에 고급 튜닝 필요
  • LangChain, recursive summarization 등 복잡한 구조
• 현재: LLM의 긴 context 지원으로 단순화
  • “이젠 그냥 더 많은 문서를 context에 던져 넣는 방식도 효과적”
• 시사점
  • 도구 선택과 튜닝의 기준이 시대에 따라 바뀜

2.8 요약 및 시사점

• 핵심 메시지: 에이전트 개발 3대 역량
  1. 워크플로 분석 및 분해 능력
  2. 도구 선택과 조합 능력
  3. 빠른 의사결정과 성능 평가 역량
• AI 시대의 실무자에게 필요한 자세
  • 도구 트렌드에 유연하게 대응
  • 촉감적 경험을 통해 축적되는 실행 감각 확보

---

P3. 본격적인 AI 에이전트 시대에 중요해질 도구들

3.1 아직은 저평가된 도구들 (Underrated Tools)

• 요즘 사람들이 많이 얘기하지 않지만, 실제로 매우 중요한 도구
• 대표적인 저평가된 도구들
  • Eval (평가 프레임워크)
  • Voice Stack (음성 기반 에이전트)
  • AI Assisted Coding
  • Non-engineer 대상의 코딩 학습

3.2 Eval – 시작이 중요하다

• 오해: 많은 사람들이 eval은 거창하고 복잡한 작업이라 생각
• 현실적인 접근
  • “20분 만에 엉성하게 시작해도 좋다”
  • 아주 단순한 eval부터 시작해 점진적으로 개선
• 실전 전략
  • 회귀 오류(Regression)를 잡기 위한 간단한 테스트 생성
  • 수작업 평가(Human eval)를 자동화 eval로 보완
  • LLM을 심판(judge)으로 활용한 빠른 판별

3.3 Voice Stack – 실제로는 수요 폭발

• 현재 상황
  • 일부 개발자만 음성 에이전트에 집중
  • 반면 대형 기업들은 음성 기반 서비스에 매우 큰 관심
• 활용 사례
  • 실시간 음성 API 뿐 아니라, 더 에이전틱한 음성 워크플로우
  • 음성 → 텍스트 → LLM → 응답 생성 → 음성화
• Andrew의 강조
  • “가장 흥미롭고 미래 유망한 영역 중 하나”

3.4 AI Assisted Coding – 더 이상 선택이 아니다

• 효율성
  • AI 도우미가 있는 개발자 ≫ 없는 개발자
  • 속도와 생산성에서 큰 차이 발생
• 현실의 장벽
  • 아직도 일부 기업은 AI 코딩 도구 금지 정책 존재
• Andrew의 조언
  • “AI 없이 코딩하는 시대는 끝났다”
  • 조직 전체가 효율성을 극대화하려면 AI 도구 도입은 필수

3.5 모두가 코드를 배워야 하는 이유

• AI Fund의 사례
  • CFO, 총무, 리셉션 직원 포함 전 직원이 코딩 학습
• 이유
  • “개발자가 될 필요는 없지만, 컴퓨터에게 원하는 걸 설명할 수 있어야 한다”
  • 각자의 역할에서 의사소통 효율 및 업무 자동화 가능
• 성과
  • 소프트웨어 엔지니어가 아니어도 생산성 향상

3.6 저평가된 도구를 당장 활용하라

• 당장 시작해야 할 실천 항목
  1. 간단한 Eval부터 만들어 보기
  2. 음성 기반 워크플로우에 주목
  3. AI 코딩 도구 적극 도입
  4. 비개발자도 최소한의 코딩 역량 습득
• 핵심 메시지
  • 단순한 도구도 조직 전체의 생산성을 구조적으로 바꿀 수 있다
  • 지금 주류가 아니더라도, 곧 핵심이 될 영역에 주목하라

---

P4. AI 에이전트 시대의 음성 인터페이스 그리고 MCP와 A2A

4.1 Andrew Ng이 생각하는 AI 코딩 환경

• 사용 중인 도구
  • Cursor, WindSurf 등 여러 코딩 도우미 툴 언급
  • 아직 발표되지 않은 새로운 툴도 개발 중
• 시사점
  • AI 코딩 도구는 단순 보조가 아닌 생산성 가속기
  • 다양한 도구를 실험하고 조합하여 자신만의 워크플로우 구축 중

4.2 음성 인터페이스의 장점

• 사용자 경험
  • 텍스트 입력 프롬프트는 진입장벽이 높음
  • 음성은 자연스럽게 말하고 수정하며 의견을 표현할 수 있어 유저 마찰(Friction)이 낮음
• 적용 예시
  • “그냥 말해보세요”로 시작 → 더 많은 사용자 참여 유도

4.3 음성 기반 시스템의 기술 과제

• 가장 큰 과제: 응답 지연(latency)
  • 이상적 응답 시간: 1초 미만
  • 초기 음성 에이전트 응답 속도: 5~9초 → UX 저하
• 해결 방안
  • Pre-response 기법: “음~ 흥미롭네요” 같은 반응으로 지연을 자연스럽게 처리
  • 콜센터 백색소음 삽입: 응답 지연을 사용자에게 덜 인식시킴

4.4 음성 인터페이스의 잠재력

• 왜 음성이 중요한가
  • 텍스트보다 말하는 것이 부담이 적고 표현력이 풍부함
  • 사용자는 완벽한 답을 말하려는 압박감이 덜함 → 더 많은 정보 확보 가능
• 결론
  • 음성 기반 시스템은 유저 친화적이면서도 고성능 에이전트 설계에 유리

4.5 MCP: AI를 위한 새로운 통신 표준

• MCP(Model Context Protocol)란?
  • 다양한 데이터 소스와 에이전트를 표준화된 방식으로 연결하는 프로토콜
  • OpenAI, Anthropic 등 주요 기업도 채택
• 기대효과
  • 복잡한 데이터 연동을 단순화
  • n개의 에이전트 × m개의 데이터 = n + m의 노력으로 통합 가능

4.6 MCP의 현재와 미래

• 현황
  • 인증 토큰 문제, 서버 불안정 등 아직은 초기 단계
  • 리소스 탐색 방식도 개선 필요 (ex. 계층적 리소스 탐색)
• 전망
  • LangGraph 같은 복잡한 도구에도 MCP 인터페이스가 필요
  • 향후 MCP는 AI 에이전트 생태계의 표준 인프라로 발전할 가능성 큼
• 조언
  • 지금부터 MCP를 학습하고 도입하면 데이터 통합에 큰 이점

4.7 Agent-to-Agent 통신의 현재

• 현황
  • MCP에 비해 A2A 프로토콜은 아직 주목도 낮음
  • 같은 팀 내 다중 에이전트 협력은 가능하지만,
  • 서로 다른 팀 간 에이전트 상호작용은 거의 없음
• Andrew의 견해
  • 아직 너무 초기 단계
  • “내 에이전트도 제대로 작동시키기 어렵다”는 것이 현실
• 전망
  • 표준화와 신뢰성 확보 후 본격적인 상호작용 기대

---

P5. AI 에이전트 시대의 바이브 코딩과 모두의 코딩

5.1 ‘바이브 코딩’의 오해와 실제

• 바이브 코딩이란?
  • AI 코딩 보조 도구를 활용하여 빠르게 제안받고 선택하는 방식
• 오해
  • “감으로 짓는 코딩”으로 이해되는 경우 많음
• 실상
  • 매우 지적이고 피로한 작업
  • 하루 종일 AI 보조와 협업하면 에너지 소모 큼
• 결론
  • 용어는 가볍지만 실제 난이도는 높다

5.2 코딩은 더 쉬워지지만, 더 중요해진다

• AI 시대의 역설
  • 코딩은 쉬워지지만 오히려 더 많은 사람이 배우게 될 것
• 과거 사례
  • Assembly → COBOL 전환 시점에도 “이제 프로그래머 필요 없다”는 주장 존재
  • 그러나 쉬워질수록 더 많은 사용자 유입
• 오늘날
  • AI 도구로 코딩이 쉬워지며 프로그래밍 보편화 가속화

5.3 모든 직군에게 필요한 ‘정확한 지시 능력’

• 핵심 역량
  • 컴퓨터에게 정확히 무엇을 원하는지 전달하는 능력
• 추천 학습 방향
  • Python 같은 기본 언어 한 가지는 꼭 익혀야
  • 개발자가 아니더라도 프로세스 자동화와 협업에 필수

5.4 AI 코딩 도우미 활용 사례

• Andrew의 사례
  • 본인은 Python 전문이지만, AI 코딩 도우미 덕분에 JS/TS 코드도 많이 작성
  • GPT가 작성한 코드를 디버깅할 때 코드 작동 방식에 대한 이해가 중요
• 시사점
  • AI가 코드를 작성해줘도, 디버깅과 문맥 이해는 인간의 몫

5.5 요약 및 시사점

• Agent-to-Agent
  • 표준화 전까지는 동일 팀 내 한정 사용에 머물 듯
• Vibe Coding
  • 오해받는 명칭이지만, 실제론 고도의 집중력 요구
• AI + Coding
  • 코딩은 이제 ‘전문가 전유물’이 아닌 모든 직군의 필수 언어
  • AI 도구로 생산성은 향상, 기초 이해는 여전히 필요

P6. AI 에이전트 시대의 펀딩과 창업

6.1 AI Fund의 철학과 운영 방식

• AI Fund란?
  • Andrew Ng이 운영하는 벤처 스튜디오
  • 투자 대상: AI Fund가 공동 창업한 회사에만 투자
• 운영 원칙
  • 아이디어 단계부터 함께 회사 설계 및 실행
  • 기술 중심의 창업가와 협력

6.2 스타트업 성공의 핵심 요인

• 1위 성공 요인: 실행 속도
  • “진짜 빠른 팀의 속도는 경험해보지 않으면 모른다”
  • 느린 팀과의 차이가 압도적
• 2위 성공 요인: 기술적 통찰
  • 마케팅, 영업, 가격 전략 등은 이미 널리 퍼진 지식
  • 그러나 기술이 어떻게 작동하는지에 대한 깊은 이해는 드물고 결정적
  • 기술 이해도가 높은 사람과 함께하면 두 배 빠르게 움직일 수 있음

6.3 창업을 고려하는 사람들을 위한 조언

• 핵심 조언
  • 기술 중심 창업가로서의 자질은 여전히 매우 중요
  • 빠르게 실행하고, 기술을 제대로 아는 팀이 유리
• 비즈니스 측면은 보완 가능
  • 시장 진입 전략, 가격 설정 등은 중요하지만 상대적으로 습득 가능
• 스타트업에게 보내는 마무리 인사
  • 창업이 고민이라면 “기술력과 실행력을 갖춘 팀”이 최고의 무기

---

참고 자료: 원본 영상

Andrew Ng: State of AI Agents | LangChain Interrupt

이번 영상에서 Andrew Ng는 복잡한 자율 시스템보다 단순한 직선형 워크플로우에서 성공적인 AI 에이전트 개발이 시작된다고 강조한다. 기업이 업무를 미시 작업으로 분해하는 데 겪는 어려움, 레고 블록 방식의 개발 접근법, AI 스타트업 성공 요인, 코딩 학습의 중요성을 설명한다.

---

이 포스트를 읽어주셔서 감사합니다. / 이 포스트는 최소 8부작 이상으로 업데이트 예정입니다. / 첫 포스팅: 250622 –> 최근 포스팅: 250622 / 포스트에 대한 문의: naebon@naver.com