삶은 확률의 구름 삶은 확률의 구름

DeepMind's Perceiver and Perceiver IO: new data family link : https://www.youtube.com/watch?v=wTZ3o36lXoQ&list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM&index=6 paper : https://arxiv.org/pdf/2103.03206.pdf 딥마인드에서 최근 작업 중 Perceiver라는 아키텍처를 개발 중이라고 한다. 이 작업에 동기는 범용 아키텍처를 개발하는 것이다. 그 이유는 우리가 실세계에서 수집할 수 있다고 상상할 수 있는 모든 데이터는 기본적으로 터치, 고유 감각에서 반향 위치, 텍스트를 수집하기 위한 감각이나 인식 등의 sense modalities와 관련이 있다. 우리가 과학적..

link : https://www.youtube.com/watch?v=U8J32Z3qV8s&list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM&index=5 paper : https://arxiv.org/pdf/2101.03961.pdf Mixture of Experts (MoE) paradigm and the Switch Transformer 이번 세미나 주제는 "Sacling Transformers through Sparsity"이다. 먼저 뉴럴 언어 모델의 Scaling에 대해 얘기하면서 세미나는 시작한다. 트랜스포머는 강력한 성능으로 nlp, vision 분야를 섭렵하고 있지만, 과거에는 데이터 셋이 적거나 Sparsity를 포함하는 경우에 트랜스포머를 많이 사용하지 않는다. ..

Decision Transformer를 설명하기 앞서 우리가 왜 이에 대해 얘기하는지 동기를 부여해보겠다. Transformer가 인공지능의 많은 분야에 큰 영향을 미쳤고, NLP, Vision, 단백질 폴딩 문제 등을 해결하였다. 그래서 이 모든 발전이 의사결정이나, 인공 지능을 위한 통합 모델에 가까워지고 있는 것 처럼 보이지만, 인공지능은 단지 perception을 가지는 것 뿐 아니라 perception knowledge가 의사결정을 위해 사용하는 방법에 대해 생각해봐야 한다. Transformer는 RL 모델과 달리 확장에 용이하며 매우 안정적인 training dynamics를 가지고 있다. 따라서 우리는 더 큰 모델과 리소스를 사용할 수 있으며 더 풍부한 분포를 학습할 수 있다. 즉, tra..

Vision Transformer for Large Scale Visual Representation Learning 3강은 컴퓨터 비전 문제에서 트랜스포머를 적용한 여러 방법들에 대한 세미나이다. 이 세미나의 최종 목적은 "General Visual Representation"이라고 강연자인 Google Brain의 Zurich는 말하고 있다. 이유는 우리가 일반적으로 시각적 표현이 가능하면, 무슨 일이 일어나고 있는지 잘 알 수 있고, 이로인해 vision 입력이 들어온 모든 종류의 작업을 수행할 수 잇기 때문이다. Vision Transformer를 보기 앞서, Computer Vision에 대한 context를 위해 짧게 vision 분야의 히스토리에 대해 소개한다. Human's Visual R..