[스마일샤크]AWS 생성형 AI로 실현하는 비즈니스 살펴보기
[스마일샤크]AWS 생성형 AI로 실현하는 비즈니스 살펴보기
2024.03.25 pm 02:00 ~ pm 04:00
01. 오프닝_AWS_개발팀장, MIKE HUR
02. 생성형 AI의 기회와 접근 전략, AWS PDS 백선환
(1) Reset moment
- C레벨 인식의 변화
- 라이너/ 뤼튼/ 업스테이지/ 스켈터랩스/클라썸/마이리얼트립/김태디/굿닥/오거나이즈/체인파트너스
- act1(모델_ ,act2(앱)로 전환 , 고객가치만드는 회사가 성장
- 인터넷, 스마트폰, AI로의 큰 기업 흐름이 새로 만들어질것
(2) Key Use Cases
- 1.생산성강화, 2운영개선, 3창의성, 4고객경험강화(상담)
[1] 생산성강화
- 개인/국가/문화별로 타겟화된 콘텐츠 제공
[2] 운영개선
- Fox Media 개인화된 콘텐츠 요약 제공 - 고객관계강화
[3] 창의/창조
-AI 기반 디지털 휴먼 구성
-aws inferentia를 활용
[4] 고객 경험강화
- Gen AI기반 리뷰요약 서비스
- 내가 궁금한 질문에 관한 리뷰를 정리해서 보여줌
- 커피관련 용품 파는 쇼핑몰 -> 두 원두의 차이, 어떤게 자취하는사람에게 맞는지 궁금증 물어보고 답변 줌(기업 맞춤형 솔루션 서비스)
- 고객 질문에 각각 케이스에 맞는 답변가능 --> 배민 리뷰 최적화 가능하겠당
사례)
- SNOW 는 Lensa AI 를 빠르게 벤치마킹해서 런칭후 수익의 90%를 2달만에 달성
(3) How to prepare generative AI with AWS(AWS의 서비스)
- 기업의 니즈
- ChatGPT를 쓰다가 AWS로 넘어온 이유 --> 데이터 DB 구축이 미흡한 ChatGPT
- AWS Bedrock -- Claude3 모델 제공
- 모델 평가방법 툴 제공
- 파인튜닝된 모델에 에이전트 포함한 가드레인 툴도 제공
- 개인정보식별 기능(준비중)
- LG AI로 AWS를 사용
03. SageMaker로 구현한 LLM 솔루션 "젠투"의 구축과정, 와들 테크리드 이진원
(1) Problem
- 온라인 쇼핑몰 90%가 사이트 머물다가 이탈함
- 커머스 기업의 80%는 고객데이터 보유중이지만 활용은 못함
Solution
- 고객과 대화하는 온라인 베테랑 AI점원 --> 친구 생일선물로 2만원대 찾아줄 수 있어?
~ 아마 IT와 관련없는 고객들인 대상은 Chatgpt를 적용해도 좋을듯
(2) Gentoo 솔루션
- 대화기반 고객 인게이지먼트 솔루션
- 상품DB업로드만으로 맞춤형 데모 체험가능
- 구매여정을 함꼐하며 의도,상황 수집 --> 대화수집
- 고객대화하며 스스로 성능개선
- 정교한 리타겟팅으로 앱푸시 오픈율 증가 (4170명대상 오픈율 28%증가)
(3) sLLM 개발 , 커머스특화 MoE
여러모델 제작
- 대화의도분류(SKT 소리마켓 대화데이터 학습), 상품특성추출(ETRI 개체명 인식엔진 기반 고객사 상품 데이터 학습),
맞춤상품 추천(11번가 상품데이터 2억건 학습한 임베딩 모델 활용) , 답변생성(GPT3.5 turbo외 다수의 LLM 활용), 피드백 기반 재학습
- 예시) "뉴발란스 900번대 라인은 발볼이 넓게 나와서 편하게 신고다닌다는 후기가 있어요."
(4) SageMaker의 기능
-실시간, 서버리스, 비동기 추론
- 파운데이션 모델 제공, Jumpstart
-장점 - 기본지식없어도 인프라 구축이 쉽다. 기존사용하는 모델 사용가능한것(확장성), 초기 비용 장벽이 낮음
- 단점 - 너무 기능이 많아 AWS 생태계 진입장벽이 존재, 비용예측이 안되는점
(5)와들 홍보
- OPEN AI 본사 피칭, 직원 선정 피칭 3위
04. 휴식 및 네트워킹
05. BedRock을 활용한 강의요약 파이프라인 제작, 팀스파르타 개발팀 팀장 이동현
(1) 회사소개
- 내부개발자 교육용 코파일럿 - Faraday-ai
- 강의 학습중 실시간 QA가 가능한 AI 챗봇
- AI 튜터, 수강생들의 질문&답변
(2) 강의요약기능
- 강의영상의 요약노트 기능
- 요약노트 기능에 대한 클릭수 -- 수요 어느정도 있음
- 어떻게 구현했나? - Lilys 앱, 릴리스AI (사운드 추출)
- 문제점 --> 온라인강의에 최적화 되지 않음 ex) 잡담에 대한 요약함, 프로그래밍 언어에 대한 한국어 문법이 틀림(조사 은/는/이/가)
- Solution. 도메인 특화 시키자. (강의 관련 데이터를 보유하고 있으므로)
(3) AWS Bedrock의 장점
- ClaudeV3 모델 접근성
- Severless 아키텍쳐 이용이 편리 API 형태로 주고받음
- Privacy 보안
(4) 실제 개발 단계
- 강의커리큘럼 데이터, 를 RAG로 처리
(5) 트러블슈팅 중 교훈
a. Prompt Hub*에서 먼저 시작하는 것을 추천
- 우리가 제어할수 있는것 --> 좋은 모델 초이스, 프롬프트 엔지니어링
- 강의 콘텐츠 도메인 지식이 있는 사람에게 프롬프트를 맡김, 도메인 지식이 있는사람이 프롬프트를 잘한다.
* 프롬프트 가이드 사이트
b. evaluation 강화하는 것이 중요 -- RAGAS, ARES
- 실제 정답 데이터가 있어야함
- 없다면 정성적인 방법으로 프롬프트 엔지니어링을 다듬어서 정답에 근접
06. 생성형 AI를 활용한 Private LLM 기반 챗봇 도입기, 스마일샤크 Solution Architect 김현민
(1) 도입배경
- 어떻게 기술간격 줄일수 있을까(영업팀-기술팀간)
- 문제점 -- 할루시네이션, 데이터유출, 비용
- Bedrock - 가격 저렴한편, API로 구현가능
- Bedrock Workshop - 랭체인, Streamlit 사용을 통해 DB vector 구현가능
- 교훈 -- LLM 모델을 교체하는것은 큰 허들은 아님
- Deep Dive
- LLM 자체의 성능이 높은걸 사용하는게 좋다
- 거친모델을 사용하면 성능을 올리기 쉽다
- Bedrock vs SageMaker 어떤걸?
- API사용하는 방식이 선택의 기준
- 앤트로픽 Claude 모델 --> 한국어를 지원함
- Claude 모델은 GPT대비 저렴한 비용
- Lambda, Amplify, Bedrock --백엔드 비용이 거의 들지 않음
(2) 프롬프트 엔지니어링
- 어떻게 하면 스마일샤크의 템플릿으로 답변을 만들수 있을까
- Role(시스템,유저,봇) + Instruction = Output(성격,의도,형식 반영됨)
- 인삿말과 마지막에 감사합니다 표현 넣기
- 답변 첫번쨰는 질문의도 요약
- 숫자활용에서 순서대로 답변 넣기
- Fewshot + Chain of thoughts
(3) Bedrock
- Bedrock --> simple is the best
- SageMaker는 좀더 AI에 대한 도메인이 있어야 사용할수 있는 느낌
(4) 개선점
- 비용최적화 -- Bedrock보다는 sagemaker가 더 비쌈
- 성능향상(모델 교체)
- 멀티모달 (Claude3가 지원함)
(5) 우리 회사도 가능할까
- 단순 노동 --> LLM으로 전부 대체 가능할것
- Bedrock + KB -> 테스트진행
- Sagemaker + VectorDB ->고도화
- 성능 비용 최적화
Q. 한국어 DB 성능에 만족하셨는지?
ok Claude3모델은 한국어 지원해서 성능이 괜찮음