차근차근 한걸음씩 개발 일기

엔드류 응의 프롬프트 엔지니어링 요약 첫번째 원칙: 명확하고 구체적인 지시하기 1.글들을 구분자를 통해서 구분하자. 2. HTML, JSON 같은 구조화된 아웃풋을 요청하자. 3. 답변에 대한 여러 조건들을 추가해라. 4.인공지능한테 시키기 전에 좋은 예제를 보여줘라. 두번째 원칙: 모델에게 생각할 시간을 줘라 1.모델에게 생각의 흐름을 줘라. 2. 모델을 예열하고 일을 시켜라. ------------------------------------------------------------------------------------------------------------------------------------------------- Code 첫번째 원칙: 명확하고 구체적인 지시하기 1.글들을 구분자를..

오늘은 Chat GPT를 하기 위해 반드시 필요한 프롬프트 엔지니어링에 대해 알아보려한다. Chat GPT의 이해는 선택이 아닌 필수이며, 그 중에서도 개발 영역과 비개발 영역의 구분 없이 모두에게 필요한 기술이 프롬프트 엔지니어링이라 생각한다. 그 이유에 대해 알아보겠다. 1. 정의 윈도우에서 명령 프롬프트 창을 열고 명령어를 실행한 적이 한 번은 있을 것이다. 명령 프롬프트 창에서 특정 지령을 내리기 위해 입력하는 텍스트를 프롬프트라고 한다. AI도 동일한 의미로 사용이 된다. AI에게 지령을 내리기 위해 입력하는 값이 프롬프트인 것이다. 또한, 이런 프롬프트를 사람이 보다 정교하게, 구체적으로 만듬으로 최적의 결과물을 만들어낼 수 있도록 하는 방법이 프롬프트 엔지니어링이다. 프롬프트(Prompt) ..

LLaMA(대형 언어 모델 메타 AI, Large Language Model Meta AI)은 Meta AI에서 2023년 2월에 발표한 대규모 언어 모델(LLM)이다. 2022년 5월에 OPT-175B를 발표했다. 그런데 OPT는 GPT3와 모델 크기는 같지만 성능이 많이 뒤쳐졌었다. 논문을 보면 이 모델이 왜 성능이 나오지 않을까에 대한 고민으로 가득하다. 그런 메타가 야심작으로 만든 모델이 Llama이다. Model Architecture LLaMA는 Villia Transformer 구조에서에 아래와 같은 변경점을 두었다. Pre-normalization (from GPT-3) 학습 안정성을 개선하기 위해 각 transformer sub-layer의 입력을 normalization함(GPT-2부터..