Computer Science

du -sh ./* |sort -rh du -sh ./* 명령어에서 s와 h는 다음과 같은 옵션을 나타냅니다: -s 옵션: "summarize" 또는 "합계"를 의미합니다. 이 옵션은 각 파일 및 디렉토리의 용량을 개별적으로 표시하는 대신, 모든 항목의 총 용량을 요약하여 표시합니다. 따라서 디렉토리 내용을 합산한 총 용량만을 보여줍니다. -h 옵션: "human-readable" 또는 "사람이 읽기 쉬운 형식"을 의미합니다. 이 옵션을 사용하면 파일 및 디렉토리의 용량을 바이트 단위 대신에 KB(킬로바이트), MB(메가바이트) 또는 GB(기가바이트) 등과 같은 사람이 이해하기 쉬운 형식으로 표시합니다. 따라서 du -sh ./* 명령어는 현재 디렉토리(.) 아래에 있는 모든 파일 및 디렉토리의 용량을 ..

passwd [계정명] 암호입력 새암호 입력 계정 권한에 따라 sudo passwd [계정명] 으로 실행

이번엔 논문 리뷰입니다. 논문제목은 아래와 같습니다. 「Performance Profile of Transformer Fine-Tuning in Multi-GPU Cloud Environments 」 이 논문은 NVIDIA V100 GPU를 최적조건으로 사용하는 방법을 연구한 결과를 포함하고 있다. 총 2가지 환경에서 비교한다. 1)Single vs multi-GPU 2) NV Link vs PCIe VI. 요약 연구를 통해 얻은 주요 인사이트는 다음과 같다. Single GPU일때, 연산에서 가장 로드가 많은 부분 : Train 데이터 로드, 역전파 연산 GPU수를 늘릴수록 연산 소요시간이 단축됨. Train 데이터 로드에는 시스템 메모리 용량이 가용한대로 2~4개의 데이터로더를 사용하는 것이 좋다. ..

Performance Optimizations TE엔진 사용법에 이어서 최적화하는 방법이다. GPT encoder Layer를 기준으로 소개한다. quickstart_utils.py 의 함수를 사용해서 적용해보자. import torch import transformer_engine.pytorch as te from transformer_engine.common.recipe import Format, DelayedScaling import quickstart_utils as utils # Layer configuration hidden_size = 4096 sequence_length = 2048 batch_size = 4 ffn_hidden_size = 16384 num_attention_heads =..

Getting Started Overview Transformer Engine (TE)을 사용하는 이유 FP8 지원 → 더 낮은 메모리 사용량 Transformer 아키텍처 지원 정밀도(Precision)를 유지하는 솔루션을 자동으로 적용되도록 구현 기존 DL 프레임워크와의 호환성 독립적인 C++ API도 지원함 Let's build a Transformer Layer! 우리는 일반 PyTorch 모듈을 사용하여 기본 트랜스포머 계층을 구축한다. 이는 추후 트랜스포머 엔진과의 비교를 위한 기준이 될 것입니다. 먼저 일반 PyTorch를 사용하여 GPT 인코더 계층을 생성합니다. 그림 1은 전체적인 구조를 보여준다. 모델 구성 요소별 사용한 Pytorch 라이브러리: LayerNorm : torch.nn...

※본포스팅은 Nvidia Transformer Engine Docs를 참고했습니다. Transformer Engine으로 FP8 사용하기 H100에서는 FP8(8-bit floating point) 형식을 지원한다 Introduction to FP8 H100에서 두 가지 FP8 형식을 지원한다. 1) E4M3 - +/- 448 2) E5M2 - +/- 57344 Dynamic Range가 넓지만 정확도가 떨어짐. Forward pass - E4M3 방식 사용 , weight 값을 계산 → 정확도 중요 Backward pass - E5M2 방식 사용, Gradient 값 계산 → 넓은 Dynamic Range 필요 Mixed Precision Training FP16 작동방법을 통해서 FP8 작동 방식 이..

https://etloveguitar.tistory.com/47 [Linux] sed - 리눅스 명령어 sed에 대해서 sed 명령어는 편집에 특화된 명령어다. sed = streamlined editor의 약자 (능률적인) 수정 치환 삭제 글 추가 등 편집기 기능을 수행할 수 있다. vi, vim은 편집기를 열어서 수정하는 방식이라면, sed는 명령 etloveguitar.tistory.com https://heum-story.tistory.com/62 [리눅스] sed 사용하여 파일 내용 일괄 변경/삭제 리눅스에서 여러 파일들의 동일한 내용을 전체 변경하거나 파일에서 원하는 내용만 삭제하고 싶을때 일일이 vi로 열어서 변경하지 않고 sed 명령어를 사용하면 유용합니다. 1. 1개 파일 내용 변경 he..

https://deeplify.dev/server/bash/create-execute-file-in-linux [Linux/리눅스] Shell 실행 파일 만드는 방법 및 예제 리눅스 환경에서 Shell 스크립트로 실행파일을 만드는 방법을 예제를 통해 소개합니다. deeplify.dev