전체 글
-
[NLP] Seq2Seq, Transformer, Bert 흐름과 정리✨ AI/NLP 2021. 9. 19. 12:23
딥러닝 기반 기계번역 발전과정 RNN → LSTM → Seq2Seq => 고정된 크기의 context vector 사용 → Attention → Transformer → GPT, BERT => 입력 시퀀스 전체에서 정보를 추출하는 방향으로 발전 GPT : transformer 디코더 아키텍처 활용 BERT : transformer 인코더 아키텍처 활용 Seq2Seq Model encoder = quten abend 각 토큰은 임베딩 레이어를 거쳐 RNN레이어를 지나게 된다. 그러면 각 레이어의 출력값(h1, h2,.. : activation function을 지난 후의 값)이 생기게 되며 이때 각 출력값은 다음 레이어의 입력으로 들어가게 된다.(RNN이기 때문) 각 출력값(h1, h2..)는 고정된 크기..
-
[Python] collections & itertools 의 유용한 함수들💫 Computer Science/Python & AI Framework 2021. 9. 2. 17:22
파이썬 collections 모듈 collections는 데이터 처리를 위한 유용한 함수를 제공하는데, dict, list, set, tuple 타입의 자료형에서 확장된 기능을 제공하는 built-in module이다. namedtuple() factory function for creating tuple subclasses with named fields deque list-like container with fast appends and pops on either end ChainMap dict-like class for creating a single view of multiple mappings Counter dict subclass for counting hashable objects Order..
-
Nvidia 추천시스템 Meetup 후기👀 etc... 2021. 8. 25. 17:45
NVIDA AI DEVELOPER MEETUP 추천 시스템과 멀린(Merlin)2021.08.27 10:00 ~ 12:00 Summary NVIDA AI 기반 추천 시스템 프레임워크 멀린(Merlin) 오픈 소스로 제공, 쉬운 API, GPU 가속 시스템 적용 가능, 기업용 딥러닝 추천 시스템 프레임워크 Agenda Recommendation System NLP → Business Insight 분야 검색, 광고, 쇼핑, 음악 스트리밍, 영화 추천, 콘텐츠, 이커머스, 소셜미디어, 광고 등.. 자연어 처리 툴과 함께 블로그 글, 리뷰 등을 통해 사용자의 성향을 이해 아주 많은 추천 시스템 서비스 중에 유독 추천이 잘 된다고 느끼는 서비스의 특징은? 기본 기술 Content-based Filtering 사..
-
[Pandas] 메모리 줄이기 read_csv, chunk, multiprocessing💫 Computer Science/Python & AI Framework 2021. 7. 1. 00:45
pandas는 디스크말고 RAM에 데이터를 적재하는데, 이때 Contiguous Memory Allocation(연속 메모리 할당) 방식을 사용한다. 디스크 적재시(Reading from SSDs) : ~16000 nanoseconds 램 적재시(Reading from RAM) : ~100 nanoseconds **Contiguous Memory Allocation(consecutive blocks are assigned) : logical address가 연속적이면 physical address도 연속적으로 배치된다. **NonContiguous Memory Allocation(separate blocks at different locations) 멀티프로세싱과 GPU를 사용하기 전에, pd.read_..