https://jeonsworld.github.io/NLP/rag/ [논문리뷰] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Patrick Lewis, Ethan Perez, Aleksandara Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela htt jeonsworld.github.io https://yout..

https://youngchannel.co.kr/aistudy/autotrain-advanced%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-Llama2-%EB%AA%A8%EB%8D%B8-%ED%95%99%EC%8A%B5 autotrain-advanced을 활용한 Llama2 모델 학습 | YOUNGCHANNEL youngchannel.co.kr

ZeRO: Memory Optimization Towards Training A Trillion Parameter Models 리뷰 https://arxiv.org/abs/1910.02054 Abstract 현재 큰 모델을 학습시키는 방법은 매우 제한되어 있다. 메모리가 낭비되거나 연산이 늦어지는 등의 문제점이 존재한다. Data Parallelism은 메모리가 매우 redundant하다. Model Prallelism은 communication 비용이 매우 높아 연산 효율이 안좋다. We develop a novel solution, Zero Redundancy Optimizer (ZeRO), to optimize memory, achieving both memory efficiency and scal..

https://moon-walker.medium.com/%EB%A6%AC%EB%B7%B0-meta-llama%EC%9D%98-%EC%B9%9C%EC%B2%99-stanford-univ%EC%9D%98-alpaca-ec82d432dc25 [리뷰] Meta LLaMA의 친척 — Stanford Univ의 Alpaca Llama와 Alpaca를 구별할 수 있는가? Llama와 Alpaca는 모두 남아메리카의 낙타과 동물로 Llama는 주로 화물 운반용으로, Alpaca는 털을 얻기 위한 목적으로 길들어진 동물이다. Llama는 Alpaca에 비해 체격이 moon-walker.medium.com

Tokenizer BPE - Byte-pair Encoding - 전체 문서를 문자단위로 쪼갠 뒤 빈번하게 나오는 문자를 묶어 단어사전 수를 줄임. '모', '델' 로 나누고 '모델'이 빈번하게 발생하면 '모델'로 붙여서 처리 형태소는 이미 만들어놓은 형태소가 없으면 tokenizer 할 수 없다는 게 단점. https://heekangpark.github.io/nlp/huggingface-bert Huggingface BERT 톺아보기 Reinventing the Wheel heekangpark.github.io

https://hyen4110.tistory.com/87 [Pytorch][BERT] 버트 소스코드 이해 [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 👀 📑 BERT Config 📑 BERT Tokenizer 📑 BERT Model 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 📑 BERT Pooler 📑 BERT Enocder 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfO hyen4110.tistory.com

..

BN- local minimum 에 빠지는 걸 방지해준다. --> loss펑션 그래프를 완만하게 만들어준다