ORPO: Monolithic Preference Optimization without Reference Model  link : https://arxiv.org/pdf/2403.07691   ✲ Abstract 최근 Preference alignment 알고리즘이 좋은 결과를 보이는 동안, SFT (supervised fine-tuning) 과정이 convergence를 위해 꼭 필요한 과정인가는 논의되지 않았다. 본 논문에서는 preference alignment 맥락에서 SFT의 중요한 역할에 대해 연구하고, 선호하지 않는 생성 스타일을 위한 minor penalty가 preference-aligned SFT에서 충분하다는 점을 강조한다. 이를 위해 간단하면서도 혁신적인 reference model..

KTO: Model Alignment as Prospect Theoretic Optimization link : https://arxiv.org/abs/2402.01306    Kahneman & Tversky’s prospect theory 에 따르면 사람의 편향되어 있지만 잘 정의된 방식으로 random variable을 인식한다고 한다. (예를 들어서 사람은 손실을 싫어한다.) 우리가 LLM을 human feedback에 aligning하려는 목표는 이러한 편향이 암묵적으로 포함되어 있다고 볼 수 있다. DPO는 cross entropy 최소화 objective를 통해 부분적으로 이를 가능하게 했지만 현재 DPO와 같은 utility function은 Kahneman & Tversky’s prosp..

IPO: A General Theoretical Paradigm to Understand Learning from Human Preferences (2) link: https://arxiv.org/pdf/2310.12036.pdf  [RLHF] A General Theoretical Paradigm to Understand Learning from Human Preferences, IPO - (1)A General Theoretical Paradigm to Understand Learning from Human Preferences link: https://arxiv.org/pdf/2310.12036.pdf Abstract 널리 퍼져 있는 RLHF(Reinforcement Learning from Hum..

IPO: A General Theoretical Paradigm to Understand Learning from Human Preferences  link: https://arxiv.org/pdf/2310.12036.pdf   ✲ Abstract 널리 퍼져 있는 RLHF(Reinforcement Learning from Human Feedback)은 2가지 중요한 가정에 의존한다.1) pairwise reward가 pointwise comparison으로 대체가 가능하다.2) 이로부터 train된 reward model은 OOD generalization에 도움이 된다. 선행 연구인 DPO(Direct Preference Optimization)에서는 reward model과 policy optimiz..

Direct Preference Optimization: Your Language Model is Secretly a Reward Model Link : https://arxiv.org/pdf/2305.18290.pdf  Neurips 2023 논문이고, 이전 RLHF 방법론들에서 Reward model을 학습시키는 과정을 없애므로써, 기존의 RLHF 방법들의 복잡한 학습 파이프라인을 simple relative cross entropy training 으로 바꾼 논문.  Instruct gpt의 선호도 데이터셋은 openai에서 공개했지만 reward model은 공개하지 않았고 hugging face에 올라온 많은 reward model도 아직까지는 작은 규모의 연구 집단에서 사용하기에 썩 유용해 보..

OpenKorPOS: Democratizing Korean Tokenization withVoting-Based Open Corpus Annotation link : https://aclanthology.org/2022.lrec-1.531.pdf 오랜만에 한국어 task를 하게 됬는데, mecab말고 토크나이저 방법이 뭐가 있나 궁금해서 보게된 논문 Abstract 한국어는 다른 동아시아 언어와 다르게, 더 큰 단어 바운더리에서 공백을 사용하는 복잡한 형태학(morphology)을 가지고 있다. 형태소(morpheme) 기반 text generation은 character-level 접근법보다 상당한 시멘틱 이점을 가지고 있는 반면,한국어 형태소 분석기는 형태소 수준의 토큰 시퀀스만 제공하기 때문에 토큰..

Information-Transport-based Policy for Simultaneous Translation link : https://aclanthology.org/2022.emnlp-main.65.pdf Abstract Simultaneous translation (ST)의 주요 챌린지는, 각 target token은 현재까지 받은 source token에만 기반하여 번역되고 지금까지 받은 소스의 information은 직접적으로 번역 퀄리티에 영향을 끼친다는 것이다. 그래서 얼마나 많은 소스의 정보를 받았는지는 ST policy가 번역할지 소스를 더 기다릴지 결정하는데 있어 pivotal evidence가 된다. 해당 논문에서는 'translation'을 'information transpor..

Translation-based Supervision for Policy Generation in Simultaneous Neural Machine Translation link : https://aclanthology.org/2021.emnlp-main.130.pdf Abstract 해당 논문은 Simultaneous Machine Translation task에 관한 논문으로 해당 task를 수행하기 위한 novel supervised learning approach를 제안한다. 이는 에이전트가 full-sentence translation에서 디코딩 target token을 만들기 위해 simultaneous translation에서 필요한 read 수를 줄이도록 하는 것이다. oracle sequ..