reinforcement learning from human feedback (rlhf)

[LLM] Training language models to follow instructions with human feedback (Instruct GPT / RLHF) Review

스터디 준비를 하다가 정리한 내용을 한번 Review를 해보겠습니다.Training language models to follow instructions with human feedbackAbstract언어 모델의 크기를 키우는 것만으로는 사용자 의도에 더 잘 부합하도록 만드는 것이 아닙니다. 예를 들어, 대규모 언어 모델은 진실하지 않거나, 유해하거나, 사용자에게 도움이 되지 않는 출력을 생성할 수 있습니다. 즉, 이러한 모델은 사용자의 의도에 맞춰져 있지 않습니다. 여기서는 인간의 피드백으로 미세 조정하여 다양한 작업에서 사용자 의도와 일치하는 언어 모델을 개발하는 방법을 제시합니다.OpenAI API를 통해 수집된 레이블러가 작성한 프롬프트와 데모 데이터를 사용하여 모델이 원하는 동작을 시연하는 데..