ZEPHYR: DIRECT DISTILLATION OF LM ALIGNMENT  link : https://arxiv.org/pdf/2310.16944   ✲ Abstract 해당 논문의 목적은 더 작은 언어 모델을 user intent에 맞게 align 하는 것이다. 이전 방법들은 distilled supervised fine-tuning (dSFT)를 사용해 큰 모델의 task accuracy를 향상시켰다. 하지만 이러한 방법은 "unaligned"이다. 즉, task prompt 한해 학습을 했기 때문에 natural prompts에는 잘 반응하지 않는다. 이러한 문제를 해결하는 distillation 방법을 제안하며 dDPO (distilled DPO) 라 한다.   먼저 teacher model..

BOND: Aligning LLMs with Best-of-N Distillation link : https://arxiv.org/abs/2407.14622 (1)편 [RLHF] BOND: Aligning LLMs with Best-of-N Distillation (1)BOND: Aligning LLMs with Best-of-N Distillation link : https://arxiv.org/abs/2407.14622    구글 딥마인드에서 새로운 RLHF method, J-BOND에 대해 소개한 논문이다. 해당 방법은 Gemma1.1 모델 학습시 사용되어 reward/KL traebbnflow.tistory.com   ‣ 3. Iterative BOND 최종적으로 parameter N을 어떻게 ..

BOND: Aligning LLMs with Best-of-N Distillation link : https://arxiv.org/abs/2407.14622    구글 딥마인드에서 새로운 RLHF method, J-BOND에 대해 소개한 논문이다. 해당 방법은 Gemma1.1 모델 학습시 사용되어 reward/KL trade-off 방식을 사용하는 강화학습 기반 baseline들에 비해 outperform하는 성능을 보여준다고 한다. J-BOND는 보상 분위수를 추정하기 위해 Monte Carlo 샘플링을 사용하여 Best-of-N 샘플링을 emulate하는 Best-of-N Distillation 알고리즘을 도입하였다. 알고리즘을 간단하게 요약하면 다음과 같다. 1. 프롬프트와 리워드모델을 수집2. 각..

ORPO: Monolithic Preference Optimization without Reference Model  link : https://arxiv.org/pdf/2403.07691   ✲ Abstract 최근 Preference alignment 알고리즘이 좋은 결과를 보이는 동안, SFT (supervised fine-tuning) 과정이 convergence를 위해 꼭 필요한 과정인가는 논의되지 않았다. 본 논문에서는 preference alignment 맥락에서 SFT의 중요한 역할에 대해 연구하고, 선호하지 않는 생성 스타일을 위한 minor penalty가 preference-aligned SFT에서 충분하다는 점을 강조한다. 이를 위해 간단하면서도 혁신적인 reference model..

KTO: Model Alignment as Prospect Theoretic Optimization link : https://arxiv.org/abs/2402.01306    Kahneman & Tversky’s prospect theory 에 따르면 사람의 편향되어 있지만 잘 정의된 방식으로 random variable을 인식한다고 한다. (예를 들어서 사람은 손실을 싫어한다.) 우리가 LLM을 human feedback에 aligning하려는 목표는 이러한 편향이 암묵적으로 포함되어 있다고 볼 수 있다. DPO는 cross entropy 최소화 objective를 통해 부분적으로 이를 가능하게 했지만 현재 DPO와 같은 utility function은 Kahneman & Tversky’s prosp..

IPO: A General Theoretical Paradigm to Understand Learning from Human Preferences (2) link: https://arxiv.org/pdf/2310.12036.pdf  [RLHF] A General Theoretical Paradigm to Understand Learning from Human Preferences, IPO - (1)A General Theoretical Paradigm to Understand Learning from Human Preferences link: https://arxiv.org/pdf/2310.12036.pdf Abstract 널리 퍼져 있는 RLHF(Reinforcement Learning from Hum..

IPO: A General Theoretical Paradigm to Understand Learning from Human Preferences  link: https://arxiv.org/pdf/2310.12036.pdf   ✲ Abstract 널리 퍼져 있는 RLHF(Reinforcement Learning from Human Feedback)은 2가지 중요한 가정에 의존한다.1) pairwise reward가 pointwise comparison으로 대체가 가능하다.2) 이로부터 train된 reward model은 OOD generalization에 도움이 된다. 선행 연구인 DPO(Direct Preference Optimization)에서는 reward model과 policy optimiz..

Direct Preference Optimization: Your Language Model is Secretly a Reward Model Link : https://arxiv.org/pdf/2305.18290.pdf  Neurips 2023 논문이고, 이전 RLHF 방법론들에서 Reward model을 학습시키는 과정을 없애므로써, 기존의 RLHF 방법들의 복잡한 학습 파이프라인을 simple relative cross entropy training 으로 바꾼 논문.  Instruct gpt의 선호도 데이터셋은 openai에서 공개했지만 reward model은 공개하지 않았고 hugging face에 올라온 많은 reward model도 아직까지는 작은 규모의 연구 집단에서 사용하기에 썩 유용해 보..