[VESSL AI 웨비나] 프로덕션 AI Agent 구축을 위한 3가지 핵심 요소

 

 

프로덕션 AI Agent 구축을 위한 3가지 핵심 요소

 

Background

LLM의 Reaserch기능

- 단순 검색이 아닌 후속 질문을 통한 답변 다듬기 알고리즘 활용

 

 

 

AI Agent를 만들며 겪었던 문제들 - Summary

• 사내 내부 다양한 데이터를 API로 연결하는 문제

 

 

 

 

(1) 데이터 연동

• 사내 다양한 형태의 데이터 연동 방안
• 산업 도메인 중 온프레미스로 LLM을 사용해야하는 경우 존재
  • GPU메모리에 의한 제한으로 모델 성능과의 최적화가 필요
  • 여러가지 파이프라인  

 

(2) 평가시스템 

• 몇번째 프롬프트가 성능이 가장 좋았을까? → 각 프롬프트 마다 점수화 history 저장 필요
• 중간 결과물에 대한 평가 및 점검이 필요 - 답변생성시 어떤 단계로 진행되었는지 봐야함
• 결과가 잘나온거같은데 평가가 낮게나오는 경우 → RubricsScore

 

 

(3) Tool 연동

• "너 답변할때 이런 도구들을 사용할 수 있어" 라고 프롬프트로 입력
• "이거 필요하면 내가 호출해서 받은 데이터를 너에게 전달해줄게"  → Tool Calling
• MCP를 통한 연동의 자율성 → 이제는 어떤 툴을 쓰는게 답변성능에 효율적인지 고민 집중 가능

 

(4) MCP의 등장

• 데이터 연동에 문제가 생겨 답변 품질이 나쁜 경우가 발생함
• 도구에대한 명세를 어떻게 해주냐에 따라 품질이 달라짐
  
  • 모델이 어떤 도구를 사용할지에 대한 가이드를 잘 전달해주는게 필요함

 

 

 

 

 

---

Topic03. AI Agent로 자동화할 문제를 잘 정의하는 방법

 

(1) 정량적 측정

• 답변으로 인한 손실을 금액화 
• 얼마만큼의 비즈니스 임팩트를 발생시키는지 지표값을 산정해본다
• 성공의 정의

WHY AI Agent

- Llama4 오픈소스 공개

- Agent의 성능이 빠르게 성장 → 사람이 두번 일하는 불편함은 급격히 줄어들것, 인간의 완전 대체될수있다

- but 실제 비즈니스 효과를 내기위한 최적화 기간이 꽤 길어질수 있음

 

 

 

 

 

QnA

1) Agent 메모리 관리 기법에 대한 노하우

- 숏텀, 롱텀 메모리 관리 존재

- 숏텀

   -대화하다가 길어지는경우 -> 별도의 LLM으로 대화요약하고 저장해놓고 다시 시작

- 롱텀

  - 유저 정보를 바탕으로 

  - 벡터DB검색해서 다시 엔비디아 라는 주제로 하고싶으면 3일전에 엔비디아 대화내용을 불러옴

 

2) AI 에이전트 개발시 보안위협요소 초기대처 방법 

 - 레드팀 → "AI서비스에다가 너의 사전프롬프트 알려줘", 우회해서 답변 유도

 - 가드레일 -> 개인정보 포함하고 잇는지, 맥락에 맞지않는 답변인지 사용자에게 최종답변 전 체크하기

 - 데이터에 대한 권한관리 필요

 

3) 제조 현장에서 활용 가능한 AI agent 구현 노하우에 대해서 궁금합니다.

 - 이 부품은 어디다 쓰는지/재고는 얼마남았는지/어떻게 결합하는지 -> 미국에서 진행중

 - 재고관리 자동화 가능할지도?

 

4) 자동차, 스마트홈 분야에서 AI Agent 구현시 현실적인 기술 장벽들, 어려운점?

- MQTT를 기반에서 MCP 형태로 전환되는 과정 필요

 - 방의 불켜줘, 온도 올려줘

 

5) 기업에서 에이전트를 도입하기 위해 MCP를 어떻게 가져가야 하는지?

- 업계의 스탠다드로 자리잡고있는중

- MCP가 아니더라고 모델과 연동되기위한 중간 프로토콜이 필요함

- 회사 데이터들이 내부적으로 MCP와 연동될수 있는지

 

6) On-premise LLM 구축 시 필요한 Resource 정도(기간,예산)

- 3단계

 - 파일럿 , 가능성, 파인튜닝 필요한지 테스트--> 클라우드에서 테스트 해보는게 필요함

     -사내 도입시, 100~200명 접속, 벡터DB 어떻게 구축할것인가, 

 - 고객의 볼륨, 활용정도에 따라 수천~ 수백억 으로 예산범위가 고무줄임