멀티 LLM + RAG 기반 Goorm KnowledgeHub AI

Goorm Multi LLM based KnowledgeHub AI by NextPlatform
Views: 10

조직의 지식을 가장 잘 이해하는 멀티 LLM AI 비서 만들기

AI를 업무에 활용하는 시대가 되면서 많은 조직이 ChatGPT, Claude, Gemini와 같은 생성형 AI를 도입하고 있습니다. 하지만 실제 현장에서는 한 가지 공통된 문제가 있습니다.

“AI는 똑똑하지만 우리 회사는 잘 모른다.”

조직의 업무 매뉴얼, 규정, 제품 정보, 프로젝트 문서와 같은 내부 지식을 이해하지 못하기 때문에 실제 업무에서는 원하는 수준의 답변을 얻기 어려운 경우가 많습니다.

이번 KnowledgeHub AI 프로젝트는 이러한 문제를 해결하기 위해 기획되었습니다.

프로젝트 목표

KnowledgeHub AI는 조직 및 부서의 문서를 기반으로 질문에 답변하는 RAG(Retrieval-Augmented Generation) 기반 AI 지식비서입니다.

여기에 GPT, Claude, Gemini, Perplexity를 함께 활용하는 멀티 LLM 아키텍처를 적용하여 더욱 안정적이고 유연한 업무 지원 환경을 구현합니다.

단순한 챗봇이 아니라,

“우리 조직의 지식을 가장 잘 이해하는 AI 업무 비서”

를 만드는 것이 이번 프로젝트의 목표입니다.

왜 멀티 LLM인가?

생성형 AI는 모델마다 강점이 다릅니다.

  • GPT는 구조화된 출력과 Tool Calling에 강합니다.
  • Claude는 긴 문서 분석과 정책 문서 해석에 뛰어납니다.
  • Gemini는 멀티모달 처리와 Google 생태계 연동에 강점을 가집니다.
  • Perplexity는 최신 웹 정보를 기반으로 사실 확인과 출처 제공에 유리합니다.

KnowledgeHub AI는 이러한 장점을 결합하여 질문의 성격에 따라 적합한 모델을 선택하거나 여러 모델의 결과를 종합하는 구조를 구현합니다.

또한 특정 API가 일시적으로 사용할 수 없는 상황에서도 다른 모델이 자동으로 역할을 대신 수행하는 Fallback 기능을 적용하여 서비스의 안정성을 높입니다.

RAG 기반 지식 허브

이번 프로젝트의 핵심은 조직의 고유 정보를 AI가 이해할 수 있도록 만드는 것입니다.

사용자는 다음과 같은 문서를 업로드할 수 있습니다.

  • PDF
  • Markdown(.md)
  • TXT

예를 들어 다음과 같은 자료를 지식기반으로 활용할 수 있습니다.

  • 업무 매뉴얼
  • 인사 규정
  • 제품 설명서
  • 품질 기준
  • 프로젝트 문서
  • FAQ
  • 회의록
  • 교육 자료

업로드된 문서는 텍스트 추출, Chunking, Embedding 과정을 거쳐 벡터 데이터베이스에 저장되며, 사용자의 질문이 들어오면 관련 문서를 검색한 후 LLM이 이를 바탕으로 답변을 생성합니다.

주요 기능

조직 및 부서별 Workspace

기업이나 기관은 부서별로 서로 다른 문서를 관리합니다.

KnowledgeHub AI는 HR, 영업, 구매, 연구개발, 생산관리 등 Workspace를 분리하여 각 부서가 자신의 문서만 활용할 수 있도록 설계합니다.

Multi LLM Router

사용자는 원하는 AI 모델을 직접 선택할 수도 있고,

Auto Mode를 선택하면 시스템이 질문 유형과 검색 결과를 분석하여 가장 적합한 모델을 자동으로 선택합니다.

Fallback

API 장애는 실제 서비스에서 반드시 고려해야 하는 요소입니다.

KnowledgeHub AI는

GPT → Claude → Gemini → Perplexity

순으로 자동 대체(Fallback)를 수행하여 특정 모델이 응답하지 않아도 서비스를 계속 사용할 수 있도록 설계합니다.

Google 로그인

Firebase Authentication을 활용하여 Google 계정으로 간편하게 로그인할 수 있으며,

향후 Microsoft, GitHub 등의 OAuth 로그인도 손쉽게 확장할 수 있습니다.

기술 스택

이번 프로젝트는 최근 바이브코딩 환경에서 가장 많이 활용되는 현대적인 기술 스택을 기반으로 구성됩니다.

Frontend

  • React
  • Vite
  • TypeScript
  • Tailwind CSS

Backend

  • Vercel Serverless Functions
  • Node.js

Authentication

  • Firebase Authentication

Storage

  • Firebase Storage

Database

  • Firebase Firestore

Vector Database

  • Supabase pgvector
  • Neon PostgreSQL + pgvector
  • Pinecone
  • Qdrant

AI

  • OpenAI GPT
  • Anthropic Claude
  • Google Gemini
  • Perplexity

시스템 아키텍처

KnowledgeHub AI의 전체 흐름은 다음과 같습니다.

  1. 사용자가 로그인한다.
  2. 조직 또는 부서를 선택한다.
  3. 문서를 업로드한다.
  4. 문서를 Embedding하여 벡터 데이터베이스에 저장한다.
  5. 질문을 입력한다.
  6. RAG가 관련 문서를 검색한다.
  7. Multi LLM Router가 최적의 모델을 선택한다.
  8. 필요 시 여러 모델의 결과를 통합한다.
  9. 최종 답변과 출처를 사용자에게 제공한다.

실습 과정

Day 13

멀티 LLM 지식기반 앱 구현

  • Firebase 프로젝트 생성
  • Google 로그인 구현
  • GPT·Claude·Gemini·Perplexity API 연동
  • Multi LLM Router 구현
  • PDF / MD / TXT 업로드
  • RAG 기반 질의응답 구현

Day 14

AI 에이전트 설계

  • Fallback 구현
  • Workspace 관리
  • 대화 이력 관리
  • 관리자 페이지
  • Response Aggregator 구현
  • AI 에이전트 Workflow 설계

기대 효과

이번 프로젝트를 완료하면 학습자는 단순히 LLM API를 호출하는 수준을 넘어, 실제 기업 환경에서 활용 가능한 AI 시스템을 설계하고 구현하는 경험을 얻게 됩니다.

특히 다음과 같은 핵심 기술을 한 번의 프로젝트에서 경험할 수 있습니다.

  • Firebase Authentication
  • RAG(Retrieval-Augmented Generation)
  • Vector Database
  • Embedding
  • Multi LLM Routing
  • Fallback
  • Response Aggregation
  • AI Agent Architecture
  • Serverless Functions

이는 향후 기업용 AI 서비스, 사내 지식검색 시스템, 업무 자동화 플랫폼, AI 에이전트 구축 프로젝트로 자연스럽게 확장할 수 있는 기반이 됩니다.

마무리

생성형 AI의 경쟁력은 이제 단순히 하나의 모델을 사용하는 데 있지 않습니다.

앞으로는 조직의 지식을 이해하고, 여러 AI 모델을 유기적으로 협업시키는 시스템을 설계하는 능력이 더욱 중요해질 것입니다.

KnowledgeHub AI 프로젝트는 이러한 흐름을 반영하여 RAG, 멀티 LLM, AI 에이전트를 하나의 프로젝트 안에서 경험할 수 있도록 구성한 실전형 바이브코딩 프로젝트입니다.

이번 실습을 통해 학습자들은 “AI를 사용하는 사람”을 넘어, 조직의 문제를 해결하는 AI 서비스를 직접 설계하고 구현하는 개발자로 한 단계 성장하는 경험을 하게 될 것입니다.

참고: 멀티 LLM 오케스트레이션 앱 빌드 아이디어 TOP 5

  • 지식기반(RAG/파일/문서)
  • 모델별 강점을 분업시키는 AI 지식 작업대
  • 다중 모델 선택, 컨텍스트 유지, 파일 업로드, Auto 모드

1) 멀티 LLM 지식비서: “문서 1개 넣으면 4개 모델이 각자 분석”

가장 강력하고 시연도 쉬운 형태입니다. PDF/MD/TXT를 업로드하면 GPT는 요약, Claude는 장문 정리, Gemini는 멀티모달/검색형 추론, Perplexity는 최신성 보강 역할을 맡는 구조입니다. Claude는 긴 컨텍스트와 문서 작업에 강하고, Gemini는 멀티모달 입력과 에이전트형 구성이 강하며, OpenAI는 함수 호출/도구 사용과 범용 응답에 적합합니다. (Claude Platform Docs)

구현 포인트는 “질문 → 라우팅 → 병렬 응답 → 종합”입니다.
학생들은 같은 문서를 넣고 모델별 결과를 비교하면서, 왜 모델마다 답이 다른지를 바로 체감할 수 있습니다.

2) 회의/강의 자료 분석 앱: “슬라이드·PDF를 업로드하면 강의 노트 자동 생성”

강의 실습에 특히 잘 맞습니다.
입력은 강의안, PPT PDF, 메모 파일이고 출력은 “핵심 요약 / 예상 질문 / 실습 체크포인트 / 시험 문제 / 발표 스크립트”입니다. Claude의 장문 처리, Gemini의 파일·이미지 기반 멀티모달 검색, OpenAI의 구조화된 출력이 잘 맞는 조합입니다. Claude는 1M 토큰급 장문 작업을 지원하는 모델 라인이 있고, Gemini는 문서·이미지·비디오를 포함하는 멀티모달 검색/임베딩 방향이 강합니다. (Claude Platform Docs)

강의용으로는 “같은 자료를 3개 모델로 분석하고, 마지막에 Auto 모드가 최종본 생성” 흐름이 아주 좋습니다. AIGrape의 파일 업로드와 RAG 컨셉과도 자연스럽게 연결됩니다.

3) 멀티 모델 연구실: “하나의 주제를 GPT/Claude/Gemini/Perplexity가 분담”

예를 들어 “AI 에이전트 아키텍처”를 주면 각 모델이 서로 다른 역할을 맡습니다.

GPT: 실행 가능한 구조와 도구 호출 설계
Claude: 긴 문서/정책/설계 문서 정리
Gemini: 멀티모달 자료와 최신 자료 보강
Perplexity: 웹 기반 사실 확인과 출처 보강

이 앱은 D14의 AI 에이전트 설계 실습으로 바로 이어집니다. agentic workflow는 분리형 아키텍처, 메모리, 도구 레지스트리, 플래너/익스큐터 구조로 확장하기 좋고, 장기 컨텍스트는 서버측 compaction이나 JIT context loading으로 관리하는 방향이 권장됩니다. (Anthropic)

4) 멀티 모델 비교 학습기: “같은 질문, 다른 답, 다른 이유”

교육적으로 매우 좋습니다.
사용자가 질문을 입력하면 모델별 답변을 나란히 보여주고, 아래에 자동으로 “장점/약점/적합한 사용 상황”을 요약합니다. 예를 들어 GPT는 도구 사용과 구조화에 강하고, Claude는 문서 처리와 긴 맥락, Gemini는 멀티모달과 구글 생태계 연계에 강하다는 식으로 학습시킬 수 있습니다. (OpenAI)

이건 단순 데모가 아니라, 모델 선택 전략 자체를 배우는 실습이 됩니다. 강의 후반에 “어떤 업무엔 어떤 모델이 유리한가”를 토론시키기 좋습니다.

5) 프로젝트 도우미 에이전트: “기획서 → 요구사항 → 구현 순서 → 코드 체크”

학생들이 만든 앱 요구사항을 넣으면,

  1. 기능 분해
  2. API 설계
  3. 폴더 구조
  4. 체크리스트
  5. 리스크
    를 순서대로 생성합니다.

여기서는 GPT를 플래너/실행 중심으로, Claude를 긴 요구사항 정리용으로, Gemini를 첨부 이미지나 스크린샷 해석용으로 쓰면 좋습니다. Gemini Live/Interactions 계열은 실시간 멀티모달 앱 제작에도 적합합니다. (Google AI for Developers)

답글 남기기

Related Posts