목록전체 글 (30)
DevWalk
Meta AI Llama 정리
LLaMA(대형 언어 모델 메타 AI, Large Language Model Meta AI)은 Meta AI에서 2023년 2월에 발표한 대규모 언어 모델(LLM)이다. 2022년 5월에 OPT-175B를 발표했다. 그런데 OPT는 GPT3와 모델 크기는 같지만 성능이 많이 뒤쳐졌었다. 논문을 보면 이 모델이 왜 성능이 나오지 않을까에 대한 고민으로 가득하다. 그런 메타가 야심작으로 만든 모델이 Llama이다. Model Architecture LLaMA는 Villia Transformer 구조에서에 아래와 같은 변경점을 두었다. Pre-normalization (from GPT-3) 학습 안정성을 개선하기 위해 각 transformer sub-layer의 입력을 normalization함(GPT-2부터..
인공지능/LLM
2023. 6. 11. 17:50
