https://jeonsworld.github.io/NLP/rag/ [논문리뷰] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Patrick Lewis, Ethan Perez, Aleksandara Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela htt jeonsworld.github.io https://yout..

https://youngchannel.co.kr/aistudy/autotrain-advanced%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-Llama2-%EB%AA%A8%EB%8D%B8-%ED%95%99%EC%8A%B5 autotrain-advanced을 활용한 Llama2 모델 학습 | YOUNGCHANNEL youngchannel.co.kr

ZeRO: Memory Optimization Towards Training A Trillion Parameter Models 리뷰 https://arxiv.org/abs/1910.02054 Abstract 현재 큰 모델을 학습시키는 방법은 매우 제한되어 있다. 메모리가 낭비되거나 연산이 늦어지는 등의 문제점이 존재한다. Data Parallelism은 메모리가 매우 redundant하다. Model Prallelism은 communication 비용이 매우 높아 연산 효율이 안좋다. We develop a novel solution, Zero Redundancy Optimizer (ZeRO), to optimize memory, achieving both memory efficiency and scal..

https://moon-walker.medium.com/%EB%A6%AC%EB%B7%B0-meta-llama%EC%9D%98-%EC%B9%9C%EC%B2%99-stanford-univ%EC%9D%98-alpaca-ec82d432dc25 [리뷰] Meta LLaMA의 친척 — Stanford Univ의 Alpaca Llama와 Alpaca를 구별할 수 있는가? Llama와 Alpaca는 모두 남아메리카의 낙타과 동물로 Llama는 주로 화물 운반용으로, Alpaca는 털을 얻기 위한 목적으로 길들어진 동물이다. Llama는 Alpaca에 비해 체격이 moon-walker.medium.com