https://hyen4110.tistory.com/87 [Pytorch][BERT] 버트 소스코드 이해 [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 👀 📑 BERT Config 📑 BERT Tokenizer 📑 BERT Model 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 📑 BERT Pooler 📑 BERT Enocder 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfO hyen4110.tistory.com

Getting Started Overview Transformer Engine (TE)을 사용하는 이유 FP8 지원 → 더 낮은 메모리 사용량 Transformer 아키텍처 지원 정밀도(Precision)를 유지하는 솔루션을 자동으로 적용되도록 구현 기존 DL 프레임워크와의 호환성 독립적인 C++ API도 지원함 Let's build a Transformer Layer! 우리는 일반 PyTorch 모듈을 사용하여 기본 트랜스포머 계층을 구축한다. 이는 추후 트랜스포머 엔진과의 비교를 위한 기준이 될 것입니다. 먼저 일반 PyTorch를 사용하여 GPT 인코더 계층을 생성합니다. 그림 1은 전체적인 구조를 보여준다. 모델 구성 요소별 사용한 Pytorch 라이브러리: LayerNorm : torch.nn...

※본포스팅은 Nvidia Transformer Engine Docs를 참고했습니다. Transformer Engine으로 FP8 사용하기 H100에서는 FP8(8-bit floating point) 형식을 지원한다 Introduction to FP8 H100에서 두 가지 FP8 형식을 지원한다. 1) E4M3 - +/- 448 2) E5M2 - +/- 57344 Dynamic Range가 넓지만 정확도가 떨어짐. Forward pass - E4M3 방식 사용 , weight 값을 계산 → 정확도 중요 Backward pass - E5M2 방식 사용, Gradient 값 계산 → 넓은 Dynamic Range 필요 Mixed Precision Training FP16 작동방법을 통해서 FP8 작동 방식 이..

01. 문법오류 발생시 → 에러종류, 에러메시지 표시 - 구조 : 조건에 맞으면 pass , 안맞으면 에러 메시지 표현 for i in range(5) print('예외처리') for i in range(5) ^ SyntaxError: invalid syntax 02. 예외처리 -에러가 발생할 상황이라도 코드가 멈추지 않고 pass되도록 하고 싶을때 사용 try: 예외가 발생할 가능성이 있는 코드 except [ 처리할 예외명 [ as 에러 메시지 변수 ]]: try 절에서 발생한 예외를 처리할 코드 [ else: ] try 절에서 예외가 발생하지 않았을 경우에만 실행될 코드 [ finally: ] try 절이 실행되고 나면 언제나 마지막에 실행될 코드 - assert 문 - assert [조건], [에..

feature importance : 지니계수 기준으로 불순도를 크게 낮추는 기준으로 feature 선정 permutation importance : 특정 feature를 제외했을때 성능차이가 큰걸 기준으로 선 정 https://hwi-doc.tistory.com/entry/Feature-selection-feature-importance-vs-permutation-importance Feature selection : feature importance vs permutation importance 안녕하세요, 오늘은 Feature selection 에 대해 다뤄보려고 합니다! Feature selection은 말 그대로 모델에 사용될 feature를 선택하는 과정입니다. feature가 그냥 많으면 많..

..

BN- local minimum 에 빠지는 걸 방지해준다. --> loss펑션 그래프를 완만하게 만들어준다

https://zzsza.github.io/mlops/2021/02/07/python-streamlit-dashboard/ Python Streamlit 사용법 - 프로토타입 만들기 Python Streamlit에 대한 글입니다 python streamlit tutorial, python streamlit dashboard, python streamlit install, python streamlit vs dash, python dashboard, python streamlit example zzsza.github.io