FINE: FUTURE-AWARE INFERENCE FOR STREAMING SPEECH TRANSLATION [ICLR 2023] link : https://openreview.net/pdf?id=0VhwJYrZew Abstract Streaming speech translation 문제를 다룰 때, 여러 latency requirement를 위해 multiple online model을 training하는 것보다, single offline translation model에 wait-k policy를 적용하는 것은 간단한 대안이 될 수 있다. 하지만, 이는 complete utterance를 가지고 training된 모델로 partial streaming speech inference를 하는 것은 분..

Vision Transformer for Large Scale Visual Representation Learning 3강은 컴퓨터 비전 문제에서 트랜스포머를 적용한 여러 방법들에 대한 세미나이다. 이 세미나의 최종 목적은 "General Visual Representation"이라고 강연자인 Google Brain의 Zurich는 말하고 있다. 이유는 우리가 일반적으로 시각적 표현이 가능하면, 무슨 일이 일어나고 있는지 잘 알 수 있고, 이로인해 vision 입력이 들어온 모든 종류의 작업을 수행할 수 잇기 때문이다. Vision Transformer를 보기 앞서, Computer Vision에 대한 context를 위해 짧게 vision 분야의 히스토리에 대해 소개한다. Human's Visual R..

Do Transformers Really Perform Bad for Graph Representation? Link : https://arxiv.org/pdf/2106.05234.pdf Abstract 트랜스포머 구조는 많은 도메인에서 지배적인 초이스가 되고 있지만, graph-level prediction task 리더보드에서는 아직 Popular하지 않으며, GNN variants 모델이 주로 사용되고 있다. 그래서 해당 논문에서는 graph representation learning에 있어 트랜스포머가 잘 적용될 수 있는지 미스테리를 Graphormer라는 모델을 통해 해소해보고자 한다. 키 아이디어는 모델에 그래프의 structural information을 효과적으로 인코딩하기 위해 트랜스포머..

Attention as a guide for Simultaneous Speech Translation Link : https://arxiv.org/pdf/2212.07850.pdf Abstract 어텐션 매커니즘이 많은 분야에 이용되고 있지만, Encoder-Decoder Attention(Cross Attention)의 behavior가 Speech Translation(ST)에서 논의된 적은 없었으며, Attention이 ST의 성능을 향상시키는지에 관해서도 마찬가지이다. 이 논문에서는 simultaneous ST를 위한 attention-based policy(EDATT)를 소개한다. 목적은 real time inference 때, translation 시점을 결정하는 SimulST task에서 가..

CS25 2: Transformers in Language - Mark Chen(Open AI) GPT 시리즈에 대한 간단한 설명과 세미나를 Open AI 연구원이 진행한 세미나이다. 크게 어려운 내용이나 흥미로운 부분은 없었으나 Open AI 연구원이 어떤 인사이트나 어떤 목적으로 GPT와 Language model을 바라보는지 알 수 있는 세미나다. Transformers in Language Transformer 발생 이전 모델들과 Transformer의 등장 배경 등에 대해서 설명한다. 3-Gram Model(Shannon 1951) two preceding words가 주어질 때 다음 word의 확률에 대한 아주 큰 lookup table을 이용한 모델. 단어들이 어느 정도 관련 있는 것 처럼 ..

Offline RL for Natural Language Generation with Implicit Q Learning(ILQL) Link : https://arxiv.org/pdf/2206.11871.pdf LLM(Large Language Model)은 User specified task를 완성시키는데는 일관성이 없을 수 있다. 이를 해결하기 위해 정확한 데이터로 Supervised finetuning하거나 RL로 finetuning하는 방법이 사용되었다. 이 논문에서 제안하는 ILQL은 novel offline RL 알고리즘을 활용해 전통적인 RL의 flexible utility optimization과 Simplicity, Stablility가 강점인 SL을 동시에 이용하여 Language mo..

The wisdom of hindsight makes language models better instruction followers https://arxiv.org/abs/2302.05206 The Wisdom of Hindsight Makes Language Models Better Instruction Followers Reinforcement learning has seen wide success in finetuning large language models to better align with instructions via human feedback. The so-called algorithm, Reinforcement Learning with Human Feedback (RLHF) demon..

Efficient Planning in a Compact Latent Action Space Trajectory Transformer처럼 planning-based sequence modeling approach이며, Transformer의 느린 Decoding Time을 해결한 논문이다. Sum up state-conditioned VQ VAE를 trajectory를 모델링해서 compact latent space에서의 planning이 가능하게함 생성모델의 prob estimation을 사용해서 explicitly하게 에이전트가 너무 behaviour policy를 벗어나거나 cofidence가 낮은 plan을 하지 않도록 함 offline RL setting에서 Empirical evaluation..