[스마일샤크]AWS 생성형 AI로 실현하는 비즈니스 살펴보기

[스마일샤크]AWS 생성형 AI로 실현하는 비즈니스 살펴보기

2024.03.25 pm 02:00 ~ pm 04:00

 

 

01. 오프닝_AWS_개발팀장, MIKE HUR

 

02. 생성형 AI의 기회와 접근 전략,  AWS PDS 백선환

(1) Reset moment

- C레벨 인식의 변화

- 라이너/ 뤼튼/ 업스테이지/ 스켈터랩스/클라썸/마이리얼트립/김태디/굿닥/오거나이즈/체인파트너스

- act1(모델_ ,act2(앱)로 전환 , 고객가치만드는 회사가 성장

- 인터넷, 스마트폰, AI로의 큰 기업 흐름이 새로 만들어질것

 

(2) Key Use Cases

 - 1.생산성강화, 2운영개선, 3창의성, 4고객경험강화(상담)

[1] 생산성강화

- 개인/국가/문화별로 타겟화된 콘텐츠 제공

[2] 운영개선

- Fox Media 개인화된 콘텐츠 요약 제공 - 고객관계강화

[3] 창의/창조

-AI 기반 디지털 휴먼 구성

-aws inferentia를 활용

[4] 고객 경험강화

- Gen AI기반 리뷰요약 서비스 

- 내가 궁금한 질문에 관한 리뷰를 정리해서 보여줌

- 커피관련 용품 파는 쇼핑몰 -> 두 원두의 차이, 어떤게 자취하는사람에게 맞는지 궁금증 물어보고 답변 줌(기업 맞춤형 솔루션 서비스)

- 고객 질문에 각각 케이스에 맞는 답변가능 --> 배민 리뷰 최적화 가능하겠당

사례)

- SNOW 는 Lensa AI 를 빠르게 벤치마킹해서 런칭후 수익의 90%를 2달만에 달성

 

(3) How to prepare generative AI with AWS(AWS의 서비스)

- 기업의 니즈 

- ChatGPT를 쓰다가 AWS로 넘어온 이유 --> 데이터 DB 구축이 미흡한 ChatGPT

- AWS Bedrock -- Claude3 모델 제공 

- 모델 평가방법 툴 제공

- 파인튜닝된 모델에 에이전트 포함한 가드레인 툴도 제공

- 개인정보식별 기능(준비중)

- LG AI로 AWS를 사용

03. SageMaker로 구현한 LLM 솔루션 "젠투"의 구축과정,  와들 테크리드 이진원 

(1) Problem

- 온라인 쇼핑몰 90%가 사이트 머물다가 이탈함

- 커머스 기업의 80%는 고객데이터 보유중이지만 활용은 못함

Solution

- 고객과 대화하는 온라인 베테랑 AI점원 --> 친구 생일선물로 2만원대 찾아줄 수 있어?

~ 아마 IT와 관련없는 고객들인 대상은 Chatgpt를 적용해도 좋을듯

(2) Gentoo 솔루션

- 대화기반 고객 인게이지먼트 솔루션

- 상품DB업로드만으로 맞춤형 데모 체험가능

- 구매여정을 함꼐하며 의도,상황 수집 --> 대화수집

- 고객대화하며 스스로 성능개선

- 정교한 리타겟팅으로 앱푸시 오픈율 증가 (4170명대상 오픈율 28%증가)

(3) sLLM 개발 , 커머스특화 MoE

여러모델 제작

- 대화의도분류(SKT 소리마켓 대화데이터 학습), 상품특성추출(ETRI 개체명 인식엔진 기반 고객사 상품 데이터 학습),

맞춤상품 추천(11번가 상품데이터 2억건 학습한 임베딩 모델 활용) , 답변생성(GPT3.5 turbo외 다수의 LLM 활용), 피드백 기반 재학습

- 예시) "뉴발란스 900번대 라인은 발볼이 넓게 나와서 편하게 신고다닌다는 후기가 있어요."

(4) SageMaker의 기능

-실시간, 서버리스, 비동기 추론

- 파운데이션 모델 제공, Jumpstart

-장점 -  기본지식없어도 인프라 구축이 쉽다. 기존사용하는 모델 사용가능한것(확장성), 초기 비용 장벽이 낮음

- 단점 - 너무 기능이 많아 AWS 생태계 진입장벽이 존재, 비용예측이 안되는점

(5)와들 홍보

- OPEN AI 본사 피칭, 직원 선정 피칭 3위

04. 휴식 및 네트워킹

 

05. BedRock을 활용한 강의요약 파이프라인 제작, 팀스파르타 개발팀 팀장 이동현

 

(1) 회사소개

- 내부개발자 교육용 코파일럿 - Faraday-ai

- 강의 학습중 실시간 QA가 가능한 AI 챗봇

- AI 튜터, 수강생들의 질문&답변

 

(2) 강의요약기능

- 강의영상의 요약노트 기능

- 요약노트 기능에 대한 클릭수 -- 수요 어느정도 있음

- 어떻게 구현했나? - Lilys 앱, 릴리스AI  (사운드 추출)  

- 문제점 --> 온라인강의에 최적화 되지 않음 ex) 잡담에 대한 요약함, 프로그래밍 언어에 대한 한국어 문법이 틀림(조사 은/는/이/가) 

- Solution. 도메인 특화 시키자. (강의 관련 데이터를 보유하고 있으므로)

(3) AWS Bedrock의 장점

- ClaudeV3 모델 접근성

-  Severless 아키텍쳐 이용이 편리 API 형태로 주고받음

- Privacy 보안 

(4) 실제 개발 단계

- 강의커리큘럼 데이터, 를 RAG로 처리

 

(5) 트러블슈팅 중 교훈

a. Prompt Hub*에서 먼저 시작하는 것을 추천

- 우리가 제어할수 있는것 --> 좋은 모델 초이스, 프롬프트 엔지니어링

- 강의 콘텐츠 도메인 지식이 있는 사람에게 프롬프트를 맡김, 도메인 지식이 있는사람이 프롬프트를 잘한다.

* 프롬프트 가이드 사이트

b. evaluation 강화하는 것이 중요 -- RAGAS, ARES

- 실제 정답 데이터가 있어야함

- 없다면 정성적인 방법으로 프롬프트 엔지니어링을 다듬어서 정답에 근접

 

06. 생성형 AI를 활용한 Private LLM 기반 챗봇 도입기, 스마일샤크 Solution Architect 김현민

(1) 도입배경

- 어떻게 기술간격 줄일수 있을까(영업팀-기술팀간)

- 문제점 -- 할루시네이션, 데이터유출, 비용

- Bedrock - 가격 저렴한편, API로 구현가능

- Bedrock Workshop - 랭체인, Streamlit 사용을 통해 DB vector 구현가능

- 교훈 -- LLM 모델을 교체하는것은 큰 허들은 아님

- Deep Dive 

  - LLM 자체의 성능이 높은걸 사용하는게 좋다

  - 거친모델을 사용하면 성능을 올리기 쉽다

- Bedrock vs SageMaker 어떤걸?

  - API사용하는 방식이 선택의 기준

  - 앤트로픽 Claude 모델 --> 한국어를 지원함

  - Claude 모델은 GPT대비 저렴한 비용

- Lambda, Amplify, Bedrock --백엔드 비용이 거의 들지 않음

 

(2) 프롬프트 엔지니어링

- 어떻게 하면 스마일샤크의 템플릿으로 답변을 만들수 있을까

- Role(시스템,유저,봇) + Instruction = Output(성격,의도,형식 반영됨)

- 인삿말과 마지막에 감사합니다 표현 넣기

- 답변 첫번쨰는 질문의도 요약

- 숫자활용에서 순서대로 답변 넣기

- Fewshot + Chain of thoughts

 

(3) Bedrock

- Bedrock -->  simple is the best

- SageMaker는 좀더 AI에 대한 도메인이 있어야 사용할수 있는 느낌

 

(4) 개선점

 - 비용최적화 -- Bedrock보다는 sagemaker가 더 비쌈

- 성능향상(모델 교체)

- 멀티모달 (Claude3가 지원함)

 

(5) 우리 회사도 가능할까

 - 단순 노동 --> LLM으로 전부 대체 가능할것

 - Bedrock + KB  -> 테스트진행

- Sagemaker + VectorDB ->고도화

- 성능 비용 최적화 

 

 

Q. 한국어 DB 성능에 만족하셨는지?

ok Claude3모델은 한국어 지원해서 성능이 괜찮음