세션 및 개요
19:00 ~ 19:10 (10분)

오프닝 
금융권의 AI 비즈니스 임팩트 관련, 사전 등록시 받은 질문과 고민을 공유합니다. 고민하셨던 내용에 대한 충분한 답을 얻어가실 수 있도록 마지막에 질의응답 시간도 가집니다. 
 

<>

  • 금융권의 수요
    • 데이터 분석용 R코드 작성
    • 엑셀 자동화VBA용 코드 작성 - 코파일럿
  • 언어모델 기반 어시스턴트
    • 보고서 작성
    • 내부 자료 고급 검색
    • 자동뉴스/ 문서 요약 및 분석
  • 금융권의 난제
    • 보안 최우선적 기관
      • 외부 네트워크 연결 및 인터넷 접속이 불가능
        • LLM모델의 발전속도, 버전 업데이트에 따른 대응이 까다로움
      • 보안관제의 필요성(바이러스 감염)
        • 반입/ 반출 파일들의 보안검토 및 적용 필요함 -> 바이러스 위험 관리
      •   내부 보안시스템의 높은 장벽 ( 자동으로 IP제어하는 시스템적용시 어려움)
    • 정확도의 중요성
      • 할루시네이션 최소화 필요
    • 관리 자동화
      • 개발자/연구자 그룹보다 사용자 그룹이 훨씬 큼
      • 최대한 많은 개발 및 운영수요를 자동화할 시스템 필요

Solution - 사진1~ 사진3

  • 보안검증이 끝난 패키지를 설치해서 사용하는 기능- R
  • 파인튜닝

금융권 사례

  • 딥러닝 기반 데이터분석
    • 금융권은 R,매트랩에 최적화되있음
    • 딥러닝-> R, 매트랩으로 적용 필요
  • 보고서 작성
    • 사전 정의한 봇 기반 작업 워크플로우
  • 온프렘 클러스터 Llama2-70B 파인튜닝
    • 밤에만 파인튜닝 자동화
    • 4개사 테스트 및 도입
  • GenAI Desktop
    • 다양한 GenAI 기능들을 기관내 앱처럼 사용

 

요약

  • 연구 개발 플랫폼
  • LLM 모델
  • 파인튜닝
  • 등등

에어갭 환경의 불편함

  • 프라이빗 클라우드 
  • 보안 체크 파이프라인을 거친 패키지만 제공
  • Lablup 저장소 허브 서비스, 로컬 패키지 서버로 구성
  • 하드를 보내서 교체하는 스타일로 솔루

 

 

 


19:10 ~ 19:40 (30분)

Backend.AI와 거대 언어 모델: 금융 분석에서 비즈니스 인사이트까지
래블업, 신정규 대표

이 발표는 금융 분야에서 Backend.AI와 거대 언어 모델을 활용하여 어떻게 업무를 혁신할 수 있는지 탐구합니다. 에어갭 환경에서의 Backend.AI 활용 사례와 거대 언어 모델을 이용한 인사이트 도출 과정을 통해, AI 기술 도입의 전략적 접근을 소개합니다. 금융 분석과 자동화에서 AI의 가능성을 살펴보며, 이 기술들이 비즈니스 환경에 어떻게 효과적으로 적용될 수 있는지에 대한 실용적인 아이디어를 공유하고자 합니다.
19:40 ~ 20:10 (30분)

차세대 금융 AI를 위한 LLM 기반 앱 - 데모와 프로덕션의 간극
올거나이즈, 이창수 대표

이코노미스트의 2024년 전망 핵심 키워드 10개 중 하나는 'AI의 현실화'입니다. 24년은 기업의 실무 현장에서 바로 사용할 수 있는 LLM 앱이 본격적으로 활용되는 한 해가 될 것입니다. 
금융권에서 LLM 기반 앱으로 프로덕션을 할 때 생기는 이슈, 이를 극복하는 전략과 노하우를 공유하며, 차세대 금융 AI를 위한 실전 LLM 앱 케이스를 소개하겠습니다.
20:10 ~ 20:40 (30분)

 

미니서베이 --> TASK는 정해져있고 어떻게 구현할지가 고민인 사람이 있음

 

주요 주제

1) LLM 알리앱

2) 금융 특화 LLM App

3) 데모와 프로덕션의 간극

 

올거나이즈

- 파이브락스 창업 이력

- 투자유치 270억원

 

01. LLM in 알리앱 마켓 

  • 대화형 챗봇
  • Llama2 이용 --> 알리 파이낸스 LLM 활용
  • LLM App builder 기능 --> 앱을 쉽게 만들어 사용
    • Nocode로 구축 가능
    • prompt 설정 기능
    • 앱실행결과 띄우기
  • 예시1 - 금융 소비자를 위한 금융 상품 비교 추천앱 
    • 고객 선호 데이터 입력, 두가지 예금 상품을 비교해서 추천
  • 예시2 - 기업 금융 담당자를 위한 기업 재무제표 분석
  • 예시3 - 개인신용점수 Impact 예측
    • 현 신용점수, 대출 또는 신용카드 개설시 신용점수 예측 및 그에 따른 영향 분석
  • 예시4 - 일본 증권회사에서 사용중 - 펀드 상품 판매 직원의 QnA 보조
    • 금융소비자보호법 주요 내용에 따른 가이드 라인을 준수한 설명 가능
  • 예시5 - PoC단계 - 종목별 시황 요약
  • 예시6 - CFO를 위한 앱
    • BI툴 활용을 프롬프트로 확인하는 방식 
    • 기존 ) 직원들을 불러서 물어보는 방식으로 하고있음

 

네가지 주요 제품 타입

  • 인지검색
  • Text2SQL
  • 요약
  • 분류
  • 인지검색
    • 실제Task
      • 여러개의 문서에서 정답을 찾아야 하는 경우  -여러 버전,유사한 문서기반은 더 여러워짐
      • 테이블에서 정답을 찾아야 하는 경우
      • 차트에서 정답을 찾아야 하는 경우

RAG

  • RAG for large language models: A Survey (이미지)
  • 상황1 - 다양한 문서가 매 순간 쏟아져나오는 경우
  • RAG 3단계 기술 - Naive RAG/ Advanced RAG/ Modular RAG
  • RRR/ DAP/ Iter retgen/self RAG
  • Advanced RAG만 해도 성능이 어느정도 나옴

실제 Production

 - 테이블에서 정답을 찾아야 하는 경우

 - GPT4로도 표에서 정답을 찾는 건 잘하지 못함

 

Parsing문제

 - 제목/ 다단/ 그림그래프 들이 붙어있는 문서를 나누는거부터 전처리 해야함

 

참조표시

 - 답이 나온 근거를 항상 보여줘야함

 

차트에서 정답을 찾아야 하는 경우

 - 멀티모달 필요

 - Chat, Image processing

 - 차트영역 인식 - 차트에 관한 description 동적생성

 

 

 

 

 

 


SKT LLM 및 기업 내/외부 주요 도입 사례 소개
SK텔레콤, 강향홍 매니저

SK텔레콤에서 사업 중인 Multi LLM 및 사업 방향성과 그 중 SK텔레콤에서 보유한 A.X LLM을 활용한 각 산업별 AI 도입 전략 및 사례를 소개합니다. 금융권 또는 기업에서 대규모로 AI 프로젝트를 도입할 때 단계별 고려사항에 대해서 발표합니다.
20:40 ~ 21:00 (20분)

 

 

기업들의 LLM 적용 사례중심

 

01. LLM 트렌드

 

ToT, CoT, RAG

 

 

02. 니즈 Summary

  • 관심산업 --> 금융-공공-제조-기타
  • 금융 --> 성ㄴ으 관심
  • 직원생산성 제고, 
  • 고객경험은 아직 할루시네이션 위험으로 도입을 꺼림
  • 생각보다 금융은 코드작성에 대한 수요가 높다 -> SQL, R, Matlab
  • 하이닉스와 진행중

03 내부 활용

 - 계약서 검토, 법률검토

 - 독소조항 체크 

 

 

 



패널토론 및 질의응답 
3사 발표자 

금융권에서 AI를 도입할 때의 주의점, AI 프로젝트를 효율적으로 운영하고 관리하며생산성을 혁신할 수 있는 방법에 대해 3사 발표자가 함께 토론합니다. 사전 등록시 받은 질문에 대한 답도 얻어가실 수 있습니다.

 

 

Q) 보안 문제에 대한 해결책

 -> all 온프레미스, 

하이브리드 형태 --> 고객문서와 고객데이터 고객사에 , 모델은 공급업체, 

고객데이터 Vetor DB는 어디에 저장? --> 문제 발생시 고객사는 해결 불가능

Vector는 수치화된 데이터이므로 보안에 크게 문제되지 않음 --> 공급업체에 저장

프롬프트로 유출되는 데이터는 아주 극일부다 --> 금융사는 굉장히 불만족 요소

 

 

 

고객상담정보로 신청서 자동작성

 

 

온프레 하이퍼스케일러?

 

연구용에서의 활용

 - 생각을 주고받는 대상

 - 이렇게 생각하는데 빠진게있냐, 이런 경향성으로 결론을 내도 괜찮은 거냐

 - 코드작성

 

금융권에서의 LLM 

 - Chatgpt를대신하는 용도

 

현장 VoC

- 해당 솔루션의 문제를 해결한 chatgpt가 나오면 어떡하냐?

 

워드는 요소별 구별 태그정보가 있음(표, 그림,글)

PDF는 요소별 구별 태그정보가 없음 (표, 그림, 글)

 

DB부하문제는 없는지?

 

기존 업무 ERP를 정보로 활용하는게 가능한지 

 

쿼리 작성해주는게 정확도가 높으수 있나? chatgpt도 여러번 질문해야 원하는 답을 주는데

--> Few-shot Learninig적용, 데이터가 일부는 필요하다.

 

'Trends' 카테고리의 다른 글

[스마일샤크]AWS 생성형 AI로 실현하는 비즈니스 살펴보기  (2) 2024.03.25
[세미나] AI in Finance 2024 by VESSL AI  (0) 2024.01.26
Adieu 2023 with MLOps Community  (0) 2023.12.14
MLOps Now — MLOps & LLMOps 2023 주요 트렌드  (1) 2023.11.24
[세미나] 모두의 연구소 「MLOps Now — LLM in Production by VESSL AI, Weights & Biases, and more」  (0) 2023.09.15

티스토리툴바