f string 소수점 표기 법 print(f'{loss :.2f}')

https://paul-hyun.github.io/gpt-01/ GPT(Generative Pre-Training) 구현하기 (1/2) How to implement the GPT model paul-hyun.github.io

https://bskyvision.com/849 정규화(normalization)와 표준화(standardization), 머신러닝 성능 향상을 위한 필수 단계 오늘은 꽤 중요한 이야기를 하고자 합니다. 기본적이기 때문에 중요합니다. 이것을 간과하면 성능에 치명적인 영향을 끼치기 때문에 중요합니다. 바로 정규화(normalization)와 표준화(standardization)� bskyvision.com scaling 스케일링 정규화 표준화 normalization standardization https://junklee.tistory.com/18 데이터 스케일링(Data Scaling) 코드 머신러닝을 위한 데이터셋을 정제할 때, 특성별로 데이터의 스케일이 다르다면 어떤 일이 벌어질까요. 예를 들어, ..

데이터 순서 역순으로 바꾸기, 뒤집기 flip/reverse https://codetorial.net/tips_and_examples/reverse_python_list_or_numpy_array.html 3. 파이썬 리스트 순서 뒤집기 - Codetorial 4) np.flip() vs np.flipud() vs np.fliplr() np.flip(), np.flipud(), np.fliplr() 메서드의 차이에 대해 알아봅니다. 2차원 어레이에서 세가지 메서드는 다르게 동작합니다. np.flip() vs np.flipud() vs np.fliplr(). np.flip()은 �� codetorial.net

가중치 초기화 https://reniew.github.io/13/ 가중치 초기화 (Weight Initialization) An Ed edition reniew.github.io

혹시 loss값을 기록하려는 목적에서 loss_list.append(loss)같은 코드를 쓰셨나요? 그러신 경우 loss 대신 loss.item()을 append하면 문제가 해결될 것으로 예상합니다. loss를 지우지 않고 쌓아두는 경우 computation graph가 점점 쌓여서 backward가 느려집니다.

https://hwijeen.github.io/2018-11-05/Data-parallelism,-multi-GPU/ Data Parallelism, Multi-GPU Pytorch의 nn.parallel 및 nn.DataParallel 사용하기 hwijeen.github.io

logging 모듈 https://greeksharifa.github.io/%ED%8C%8C%EC%9D%B4%EC%8D%AC/2019/12/13/logging/#3-format-%ED%8E%B8%EB%A6%AC%ED%95%98%EA%B2%8C-%EC%84%A4%EC%A0%95%ED%95%98%EA%B8%B0 Python, Machine & Deep Learning Python, Machine Learning & Deep Learning greeksharifa.github.io