전체 글
-
[RLHF] A General Theoretical Paradigm to Understand Learning from Human Preferences, IPO - (2)✨ AI/AI papers 2024. 3. 25. 05:07
Week Regularisation and Overfitting y와 y' 두 라벨이 있을 때, p*(y > y') = 1인 경우 즉 항상 y를 선호할 확률이 있다고 생각해보자. 그러면 BT 모델은 r(y)-r(y') 무한대로 가게 될 것이고 policy pi*에 이를 대입하면 pi*(y') / pi(y) = 0이 될 것이다 즉 pi*(y') = 0이 된다. 이렇게 된다면, KL regularisation을 위한 constant tau는 무시될 것이며 더 deterministic preference를 모델링하게 되어 오버피팅이 일어나게 된다. KL 패널티가 약해지는 문제는 우리가 RLHF 모델링할 때 주로 사용하는 finite preference dataset을 사용할 때 더 두드러진다. 따라서 DPO보..
-
[RLHF] A General Theoretical Paradigm to Understand Learning from Human Preferences, IPO - (1)✨ AI/AI papers 2024. 1. 10. 01:07
A General Theoretical Paradigm to Understand Learning from Human Preferences link: https://arxiv.org/pdf/2310.12036.pdf Abstract 널리 퍼져 있는 RLHF(Reinforcement Learning from Human Feedback)은 2가지 중요한 가정에 의존한다. 1) pairwise reward가 poinwise comparison으로 대체가 가능하다. 2) 이로부터 train된 reward model은 OOD generalization에 도움이 된다. 선행 연구인 DPO(Direct Preference Optimization)에서는 reward model과 policy optimization을 따로..
-
[RLHF] Direct Preference Optimization, DPO✨ AI/AI papers 2023. 12. 3. 19:46
Direct Preference Optimization: Your Language Model is Secretly a Reward Model Link : https://arxiv.org/pdf/2305.18290.pdf Neurips 2023 논문이고, 이전 RLHF 방법론들에서 Reward model을 학습시키는 과정을 없애므로써, 기존의 RLHF 방법들의 복잡한 학습 파이프라인을, simple relative cross entropy training 으로 바꾼 논문. Instruct gpt의 선호도 데이터셋은 openai에서 공개했지만 reward model은 공개하지 않았고 hugging face에 올라온 많은 reward model도 아직까지는 작은 규모의 연구 집단에서 사용하기에 썩 유용해 보이..
-
[CS25 6강] DeepMind's Perceiver and Perceiver IO: new data family✨ AI/NLP 2023. 7. 28. 21:43
DeepMind's Perceiver and Perceiver IO: new data family link : https://www.youtube.com/watch?v=wTZ3o36lXoQ&list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM&index=6 paper : https://arxiv.org/pdf/2103.03206.pdf 딥마인드에서 최근 작업 중 Perceiver라는 아키텍처를 개발 중이라고 한다. 이 작업에 동기는 범용 아키텍처를 개발하는 것이다. 그 이유는 우리가 실세계에서 수집할 수 있다고 상상할 수 있는 모든 데이터는 기본적으로 터치, 고유 감각에서 반향 위치, 텍스트를 수집하기 위한 감각이나 인식 등의 sense modalities와 관련이 있다. 우리가 과학적..
-
[CS25 5강] Mixture of Experts (MoE) paradigm and the Switch Transformer✨ AI/NLP 2023. 7. 22. 21:01
link : https://www.youtube.com/watch?v=U8J32Z3qV8s&list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM&index=5 paper : https://arxiv.org/pdf/2101.03961.pdf Mixture of Experts (MoE) paradigm and the Switch Transformer 이번 세미나 주제는 "Sacling Transformers through Sparsity"이다. 먼저 뉴럴 언어 모델의 Scaling에 대해 얘기하면서 세미나는 시작한다. 트랜스포머는 강력한 성능으로 nlp, vision 분야를 섭렵하고 있지만, 과거에는 데이터 셋이 적거나 Sparsity를 포함하는 경우에 트랜스포머를 많이 사용하지 않는다. ..