✨ AI/AI papers
-
[NLP] FINE: Future-aware Inference For Streaming Speech Translation✨ AI/AI papers 2023. 4. 18. 16:19
FINE: FUTURE-AWARE INFERENCE FOR STREAMING SPEECH TRANSLATION [ICLR 2023] link : https://openreview.net/pdf?id=0VhwJYrZew Abstract Streaming speech translation 문제를 다룰 때, 여러 latency requirement를 위해 multiple online model을 training하는 것보다, single offline translation model에 wait-k policy를 적용하는 것은 간단한 대안이 될 수 있다. 하지만, 이는 complete utterance를 가지고 training된 모델로 partial streaming speech inference를 하는 것은 분..
-
[GNN] Do Transformers Really Perform Bad for Graph Representation?, Graphormer✨ AI/AI papers 2023. 4. 15. 22:58
Do Transformers Really Perform Bad for Graph Representation? Link : https://arxiv.org/pdf/2106.05234.pdf Abstract 트랜스포머 구조는 많은 도메인에서 지배적인 초이스가 되고 있지만, graph-level prediction task 리더보드에서는 아직 Popular하지 않으며, GNN variants 모델이 주로 사용되고 있다. 그래서 해당 논문에서는 graph representation learning에 있어 트랜스포머가 잘 적용될 수 있는지 미스테리를 Graphormer라는 모델을 통해 해소해보고자 한다. 키 아이디어는 모델에 그래프의 structural information을 효과적으로 인코딩하기 위해 트랜스포머..
-
[NLP] Attention as a guide for Simultaneous Speech Translation✨ AI/AI papers 2023. 4. 13. 22:46
Attention as a guide for Simultaneous Speech Translation Link : https://arxiv.org/pdf/2212.07850.pdf Abstract 어텐션 매커니즘이 많은 분야에 이용되고 있지만, Encoder-Decoder Attention(Cross Attention)의 behavior가 Speech Translation(ST)에서 논의된 적은 없었으며, Attention이 ST의 성능을 향상시키는지에 관해서도 마찬가지이다. 이 논문에서는 simultaneous ST를 위한 attention-based policy(EDATT)를 소개한다. 목적은 real time inference 때, translation 시점을 결정하는 SimulST task에서 가..
-
[NLP, RL] Offline RL for Natural Language Generation with Implicit Q Learning, ILQL✨ AI/AI papers 2023. 4. 8. 23:41
Offline RL for Natural Language Generation with Implicit Q Learning(ILQL) Link : https://arxiv.org/pdf/2206.11871.pdf LLM(Large Language Model)은 User specified task를 완성시키는데는 일관성이 없을 수 있다. 이를 해결하기 위해 정확한 데이터로 Supervised finetuning하거나 RL로 finetuning하는 방법이 사용되었다. 이 논문에서 제안하는 ILQL은 novel offline RL 알고리즘을 활용해 전통적인 RL의 flexible utility optimization과 Simplicity, Stablility가 강점인 SL을 동시에 이용하여 Language mo..