전체 글
-
[NLP] OpenKorPOS: Democratizing Korean Tokenization withVoting-Based Open Corpus Annotation✨ AI/AI papers 2023. 7. 14. 10:57
OpenKorPOS: Democratizing Korean Tokenization withVoting-Based Open Corpus Annotation link : https://aclanthology.org/2022.lrec-1.531.pdf 오랜만에 한국어 task를 하게 됬는데, mecab말고 토크나이저 방법이 뭐가 있나 궁금해서 보게된 논문 Abstract 한국어는 다른 동아시아 언어와 다르게, 더 큰 단어 바운더리에서 공백을 사용하는 복잡한 형태학(morphology)을 가지고 있다. 형태소(morpheme) 기반 text generation은 character-level 접근법보다 상당한 시멘틱 이점을 가지고 있는 반면,한국어 형태소 분석기는 형태소 수준의 토큰 시퀀스만 제공하기 때문에 토큰..
-
[RL] Is Conditional Generative Modeling All You Need For Decision-Making?(Decision-Diffuser)✨ AI/AI papers 2023. 6. 11. 02:04
IS CONDITIONAL GENERATIVE MODELING ALL YOU NEED FOR DECISION-MAKING? Link : https://arxiv.org/pdf/2211.15657.pdf diffuser 논문을 재밌게 읽었는데 후속 논문이 나와서 읽어봄 Abstract 해당 논문에서는 Conditional Generative Model이 직접적으로 sequential decision-making 문제를 해결할 수 있는지에 대해 알아본다. 그리고 의사 결정을 강화 학습 관점이 아닌, 조건부 생성 모델링(conditional generative modeling)을 통해 해결해보려고 한다. 저자들은 해당 연구를 통해 policy를 return conditional diffusion model로 ..
-
[NLP] Information-Transport-based Policy for Simultaneous Translation✨ AI/AI papers 2023. 5. 28. 22:38
Information-Transport-based Policy for Simultaneous Translation link : https://aclanthology.org/2022.emnlp-main.65.pdf Abstract Simultaneous translation (ST)의 주요 챌린지는, 각 target token은 현재까지 받은 source token에만 기반하여 번역되고 지금까지 받은 소스의 information은 직접적으로 번역 퀄리티에 영향을 끼친다는 것이다. 그래서 얼마나 많은 소스의 정보를 받았는지는 ST policy가 번역할지 소스를 더 기다릴지 결정하는데 있어 pivotal evidence가 된다. 해당 논문에서는 'translation'을 'information transpor..
-
[RL] Behavior Transformers: Cloning k modes with one stone✨ AI/AI papers 2023. 5. 23. 00:38
Behavior Transformers: Cloning k modes with one stone Link : https://arxiv.org/pdf/2206.11251.pdf Abstract behavior learning은 인상적인 발전을 보여주었지만, 아직 large scale의 human-generated dataset을 활용하지 못하기 때문에 비전이나 자연어처리 분야만큼의 발전을 이루진 않았다. Human behavior는 넓은 분산과 다중 모드를 가지고 있고 human demonstration데이터셋은 일반적으로 reward가 label되어 있지 않다. 이러한 속성은 현재 큰 스케일의 pre-collected dataset을 활용해서 offline RL과 Behavior Cloning(BC)에 ..
-
Encoding Recurrence Into Transformer, ICLR 2023✨ AI/AI papers 2023. 5. 21. 21:43
Encoding Recurrence Into Transformer Link : https://openreview.net/pdf?id=7YfHla7IxBJ Abstract 해당 논문은 RNN layer를 간단한 RNN의 sequence로 표현할 수 있음을 보이고, 이를 Transformer의 self-attention의 lightweight positional encoding matrix로 사용할 수 있음을 보인다. RNN layer에서 사용되는 recurrent dynamics는 multihead self-attention의 positional encoding으로 압축될 수 있고 이는 Transformer에서 recurrent dynamics를 통합할 수 있음을 의미한다. 여기서 소개되는 Reccurre..