passwd [계정명] 암호입력 새암호 입력 계정 권한에 따라 sudo passwd [계정명] 으로 실행

MLOps Now — MLOps & LLMOps 일시 — 2023년 11월 24일 오후 2시 장소 — 모두의연구소 강남캠퍼스 발표 내용 및 연사 — MLOps & LLMOps 2023 트렌드 - 안재만, Co-founder & CEO, VESSL AI 프로덕션 LLM을 위한 ​MLOps & AI 인프라 - 류인태, Product Manager, VESSL AI 고군분투 LLM 프로덕트 적용기 — Blind Prompting 부터 Agent까지 - Technical Lead & ML Engineer, LINER LLM 기반 추천 시스템 개발기 - 이태호, Technical Lead, Corca MLOps & LLMOps 2023 트렌드 - 안재만, Co-founder & CEO, VESSL AI 1) LL..

STEP 01. nohup설치하기 nohup은 Linux 기본으로 제공되므로, 별도로 설치할 필요가 없습니다. 설치확인 명령어 : nohup --version STEP 02 nohup으로 Jupyter notebook 켜놓기 실행하는 명령어는 간단하다 nohup [주피터 실행 명령어] Tip: 회사 컴퓨터로 실행하고 집에서 접속해서 사용하고 싶다. → 외부로 접속할 수 있도록 IP와 외부 포트를 설정해야함.(여기선 생략, 가능하다는 것만 알아두자) 아는사람은 아래와 같이 실행하면 된다. nohup jupyter notebook --ip=0.0.0.0 --port=[외부포트] --no-browser --NotebookApp.token=[토큰값] ip=0.0.0.0 : 외부 IP 넣는거 아님. 누구라도 0...

https://moon-walker.medium.com/%EB%A6%AC%EB%B7%B0-meta-llama%EC%9D%98-%EC%B9%9C%EC%B2%99-stanford-univ%EC%9D%98-alpaca-ec82d432dc25 [리뷰] Meta LLaMA의 친척 — Stanford Univ의 Alpaca Llama와 Alpaca를 구별할 수 있는가? Llama와 Alpaca는 모두 남아메리카의 낙타과 동물로 Llama는 주로 화물 운반용으로, Alpaca는 털을 얻기 위한 목적으로 길들어진 동물이다. Llama는 Alpaca에 비해 체격이 moon-walker.medium.com

「MLOps Now — LLM in Production by VESSL AI, Weights & Biases, and more」 일시 : 2023.09.15. 13:00 ~ 16:00 장소 : 모두의연구소 Session 01. ​Infrastructure for LLMs — Llama 2 학습부터 파인튜닝, 배포까지 ​안재만, Co-founder & CEO, VESSL AI 1) VESSL AI 실리콘밸리 본사 국내 대기업, AI스타트업, 카이스트등 플랫폼 사용중 2) Does one large llm ~? - 하나의 모델로 통합되는것이 아닌 개별의 모델이 더 성능이 좋을 것이다. 3) Why run your own models? -privacy, cost, control - (1) 보안에 대한 우려 -..

Tokenizer BPE - Byte-pair Encoding - 전체 문서를 문자단위로 쪼갠 뒤 빈번하게 나오는 문자를 묶어 단어사전 수를 줄임. '모', '델' 로 나누고 '모델'이 빈번하게 발생하면 '모델'로 붙여서 처리 형태소는 이미 만들어놓은 형태소가 없으면 tokenizer 할 수 없다는 게 단점. https://heekangpark.github.io/nlp/huggingface-bert Huggingface BERT 톺아보기 Reinventing the Wheel heekangpark.github.io

https://jh-bk.tistory.com/20 [PyTorch] 파이토치 프로파일링 (PyTorch profiler API) Introduction 지지난 글에서는, 파이썬 코드를 실행할 때 코드의 시간 성능을 프로파일러 (profiler) 를 이용해 측정하는 방법을 알아봤었다. 여기 (지지난 글이었지만 글을 수정 하면서 발행일을 업데 jh-bk.tistory.com

이번엔 논문 리뷰입니다. 논문제목은 아래와 같습니다. 「Performance Profile of Transformer Fine-Tuning in Multi-GPU Cloud Environments 」 이 논문은 NVIDIA V100 GPU를 최적조건으로 사용하는 방법을 연구한 결과를 포함하고 있다. 총 2가지 환경에서 비교한다. 1)Single vs multi-GPU 2) NV Link vs PCIe VI. 요약 연구를 통해 얻은 주요 인사이트는 다음과 같다. Single GPU일때, 연산에서 가장 로드가 많은 부분 : Train 데이터 로드, 역전파 연산 GPU수를 늘릴수록 연산 소요시간이 단축됨. Train 데이터 로드에는 시스템 메모리 용량이 가용한대로 2~4개의 데이터로더를 사용하는 것이 좋다. ..