https://bio-info.tistory.com/143 [Python] Python 코드 실행시간 측정 4가지 방법 (feat. Jupyter Notebook) Contents 1. 배경 파이썬으로 코드를 짜다보면, 코드가 엄청 오래 걸린다고 느낄 때가 있습니다. 그럴 때 함수 별로, 혹은 코드별로 걸리는 시간을 측정해 병목현상을 해결할 수 있습니다. python 라 bio-info.tistory.com

du -sh ./* |sort -rh du -sh ./* 명령어에서 s와 h는 다음과 같은 옵션을 나타냅니다: -s 옵션: "summarize" 또는 "합계"를 의미합니다. 이 옵션은 각 파일 및 디렉토리의 용량을 개별적으로 표시하는 대신, 모든 항목의 총 용량을 요약하여 표시합니다. 따라서 디렉토리 내용을 합산한 총 용량만을 보여줍니다. -h 옵션: "human-readable" 또는 "사람이 읽기 쉬운 형식"을 의미합니다. 이 옵션을 사용하면 파일 및 디렉토리의 용량을 바이트 단위 대신에 KB(킬로바이트), MB(메가바이트) 또는 GB(기가바이트) 등과 같은 사람이 이해하기 쉬운 형식으로 표시합니다. 따라서 du -sh ./* 명령어는 현재 디렉토리(.) 아래에 있는 모든 파일 및 디렉토리의 용량을 ..

ZeRO: Memory Optimization Towards Training A Trillion Parameter Models 리뷰 https://arxiv.org/abs/1910.02054 Abstract 현재 큰 모델을 학습시키는 방법은 매우 제한되어 있다. 메모리가 낭비되거나 연산이 늦어지는 등의 문제점이 존재한다. Data Parallelism은 메모리가 매우 redundant하다. Model Prallelism은 communication 비용이 매우 높아 연산 효율이 안좋다. We develop a novel solution, Zero Redundancy Optimizer (ZeRO), to optimize memory, achieving both memory efficiency and scal..

passwd [계정명] 암호입력 새암호 입력 계정 권한에 따라 sudo passwd [계정명] 으로 실행

MLOps Now — MLOps & LLMOps 일시 — 2023년 11월 24일 오후 2시 장소 — 모두의연구소 강남캠퍼스 발표 내용 및 연사 — MLOps & LLMOps 2023 트렌드 - 안재만, Co-founder & CEO, VESSL AI 프로덕션 LLM을 위한 ​MLOps & AI 인프라 - 류인태, Product Manager, VESSL AI 고군분투 LLM 프로덕트 적용기 — Blind Prompting 부터 Agent까지 - Technical Lead & ML Engineer, LINER LLM 기반 추천 시스템 개발기 - 이태호, Technical Lead, Corca MLOps & LLMOps 2023 트렌드 - 안재만, Co-founder & CEO, VESSL AI 1) LL..

STEP 01. nohup설치하기 nohup은 Linux 기본으로 제공되므로, 별도로 설치할 필요가 없습니다. 설치확인 명령어 : nohup --version STEP 02 nohup으로 Jupyter notebook 켜놓기 실행하는 명령어는 간단하다 nohup [주피터 실행 명령어] Tip: 회사 컴퓨터로 실행하고 집에서 접속해서 사용하고 싶다. → 외부로 접속할 수 있도록 IP와 외부 포트를 설정해야함.(여기선 생략, 가능하다는 것만 알아두자) 아는사람은 아래와 같이 실행하면 된다. nohup jupyter notebook --ip=0.0.0.0 --port=[외부포트] --no-browser --NotebookApp.token=[토큰값] ip=0.0.0.0 : 외부 IP 넣는거 아님. 누구라도 0...

https://moon-walker.medium.com/%EB%A6%AC%EB%B7%B0-meta-llama%EC%9D%98-%EC%B9%9C%EC%B2%99-stanford-univ%EC%9D%98-alpaca-ec82d432dc25 [리뷰] Meta LLaMA의 친척 — Stanford Univ의 Alpaca Llama와 Alpaca를 구별할 수 있는가? Llama와 Alpaca는 모두 남아메리카의 낙타과 동물로 Llama는 주로 화물 운반용으로, Alpaca는 털을 얻기 위한 목적으로 길들어진 동물이다. Llama는 Alpaca에 비해 체격이 moon-walker.medium.com

「MLOps Now — LLM in Production by VESSL AI, Weights & Biases, and more」 일시 : 2023.09.15. 13:00 ~ 16:00 장소 : 모두의연구소 Session 01. ​Infrastructure for LLMs — Llama 2 학습부터 파인튜닝, 배포까지 ​안재만, Co-founder & CEO, VESSL AI 1) VESSL AI 실리콘밸리 본사 국내 대기업, AI스타트업, 카이스트등 플랫폼 사용중 2) Does one large llm ~? - 하나의 모델로 통합되는것이 아닌 개별의 모델이 더 성능이 좋을 것이다. 3) Why run your own models? -privacy, cost, control - (1) 보안에 대한 우려 -..