프로덕션 AI Agent 구축을 위한 3가지 핵심 요소 BackgroundLLM의 Reaserch기능- 단순 검색이 아닌 후속 질문을 통한 답변 다듬기 알고리즘 활용   AI Agent를 만들며 겪었던 문제들 - Summary사내 내부 다양한 데이터를 API로 연결하는 문제    (1) 데이터 연동사내 다양한 형태의 데이터 연동 방안산업 도메인 중 온프레미스로 LLM을 사용해야하는 경우 존재GPU메모리에 의한 제한으로 모델 성능과의 최적화가 필요여러가지 파이프라인   (2) 평가시스템 몇번째 프롬프트가 성능이 가장 좋았을까? → 각 프롬프트 마다 점수화 history 저장 필요중간 결과물에 대한 평가 및 점검이 필요 - 답변생성시 어떤 단계로 진행되었는지 봐야함결과가 잘나온거같은데 평가가 낮게나오는 경우..

[스마일샤크]AWS 생성형 AI로 실현하는 비즈니스 살펴보기 2024.03.25 pm 02:00 ~ pm 04:00 01. 오프닝_AWS_개발팀장, MIKE HUR 02. 생성형 AI의 기회와 접근 전략, AWS PDS 백선환 (1) Reset moment - C레벨 인식의 변화 - 라이너/ 뤼튼/ 업스테이지/ 스켈터랩스/클라썸/마이리얼트립/김태디/굿닥/오거나이즈/체인파트너스 - act1(모델_ ,act2(앱)로 전환 , 고객가치만드는 회사가 성장 - 인터넷, 스마트폰, AI로의 큰 기업 흐름이 새로 만들어질것 (2) Key Use Cases - 1.생산성강화, 2운영개선, 3창의성, 4고객경험강화(상담) [1] 생산성강화 - 개인/국가/문화별로 타겟화된 콘텐츠 제공 [2] 운영개선 - Fox Media..

Private Networking by VESSL AI — AI in Finance 2024 (16:30~17:00) Landscape of Generative AI in financial industry (금융산업에서의 생성형AI 활용 동향 ) ​​고희숙, 이사, 투이컨설팅 초거대AI의 단점 높은 운영비용 오랜훈련시간 고전력 소모 AI TRiSM 적용 중요성 대두 -> 신뢰성, 보안 검증을 위한 툴 AI모델 거버넌스, 신뢰성, 공정성, 견고성, 효능 및 데이터 보호 프레임워크 AI적용 활용 분야 개인화된 경험 효율적인 자동화 사실기반의 예측력 엔비디아 - 2024 금융 서비스 AI 현황 보고서 - (사진) 금융기술 트렌드 - BaaS 금융 기술 트렌드 - GeFi 보이스피싱방지 AI콜센터 발전방향 - ..

세션 및 개요 19:00 ~ 19:10 (10분) 오프닝 금융권의 AI 비즈니스 임팩트 관련, 사전 등록시 받은 질문과 고민을 공유합니다. 고민하셨던 내용에 대한 충분한 답을 얻어가실 수 있도록 마지막에 질의응답 시간도 가집니다. 금융권의 수요 데이터 분석용 R코드 작성 엑셀 자동화VBA용 코드 작성 - 코파일럿 언어모델 기반 어시스턴트 보고서 작성 내부 자료 고급 검색 자동뉴스/ 문서 요약 및 분석 금융권의 난제 보안 최우선적 기관 외부 네트워크 연결 및 인터넷 접속이 불가능 LLM모델의 발전속도, 버전 업데이트에 따른 대응이 까다로움 보안관제의 필요성(바이러스 감염) 반입/ 반출 파일들의 보안검토 및 적용 필요함 -> 바이러스 위험 관리 내부 보안시스템의 높은 장벽 ( 자동으로 IP제어하는 시스템적용..

Agenda 19:00 ~ 19:10 Opening (마키나락스 임용섭 CDS) 19:10 ~ 19:40 Talk 1 - Navigating the Shift: From MLOps to LLMOps (Akira Shibata, Weights & Biases 일본/한국 지사장) > In this talk, I'll take you on our journey from MLOps to LLMOps, exploring the profound implications of LLMs and other large foundation models on our development/operation workflow. Beyond technical considerations, we'll delve into the organ..

MLOps Now — MLOps & LLMOps 일시 — 2023년 11월 24일 오후 2시 장소 — 모두의연구소 강남캠퍼스 발표 내용 및 연사 — MLOps & LLMOps 2023 트렌드 - 안재만, Co-founder & CEO, VESSL AI 프로덕션 LLM을 위한 ​MLOps & AI 인프라 - 류인태, Product Manager, VESSL AI 고군분투 LLM 프로덕트 적용기 — Blind Prompting 부터 Agent까지 - Technical Lead & ML Engineer, LINER LLM 기반 추천 시스템 개발기 - 이태호, Technical Lead, Corca MLOps & LLMOps 2023 트렌드 - 안재만, Co-founder & CEO, VESSL AI 1) LL..

「MLOps Now — LLM in Production by VESSL AI, Weights & Biases, and more」 일시 : 2023.09.15. 13:00 ~ 16:00 장소 : 모두의연구소 Session 01. ​Infrastructure for LLMs — Llama 2 학습부터 파인튜닝, 배포까지 ​안재만, Co-founder & CEO, VESSL AI 1) VESSL AI 실리콘밸리 본사 국내 대기업, AI스타트업, 카이스트등 플랫폼 사용중 2) Does one large llm ~? - 하나의 모델로 통합되는것이 아닌 개별의 모델이 더 성능이 좋을 것이다. 3) Why run your own models? -privacy, cost, control - (1) 보안에 대한 우려 -..