1. Introduction최근 LLM은 높은 언어 이해 및 생성 능력을 바탕으로 다양한 분야에서 활용되고 있다. 하지만 사전학습만으로는 모델이 항상 사용자의 의도나 선호에 맞는 답변을 생성하기 어렵다. 이를 보완하기 위한 대표적인 방법이 사람의 피드백을 학습에 반영하는 RLHF(Reinforcement Learning from Human Feedback)이다.RLHF는 일반적인 LLM 학습과 비교했을 때 시스템 구성이 복잡하다. 하나의 모델만 학습하는 것이 아니라, 여러 모델이 서로 다른 역할을 수행하면서 하나의 학습 과정을 구성하기 때문이다.대표적인 PPO 기반 RLHF에서는 다음 네 종류의 모델을 사용한다.Actor: Prompt에 대한 response를 생성하고, 높은 reward를 받도록 학습되..
