💫 Computer Science
-
[Docker] ML + NLP Dockerfile 만들기💫 Computer Science/Python & AI Framework 2021. 5. 11. 11:30
케라스랑 자연어처리 쪽 도커 이미지를 많이 사용하는데, 요즘 한국어 처리, 임베딩 하느라고 "한국어임베딩" 책의 이기창 저자님의 embedding이미지를 사용했었다. ratsgo/embedding ratsgo/embedding 에서 바로 사용 가능한 기법들 단어 수준 임베딩 - Latent Semantic Analysis - Word2Vec - GloVe - FastText - Swivel 문장 수준 임베딩 - Weighted Embeddings - Latent Semantic Analysis - Latent Dirichlet Allocation - Doc2VecEmbeddings from Language Models (ELMo) - Bidirectional Encoder Representations f..
-
[Python] 인코딩 정리💫 Computer Science/Python & AI Framework 2021. 4. 29. 17:54
자연어 처리를 하다보면 인코딩에 대해 아는 것이 생각보다 중요해서 정리 한번 하고 넘어가고 싶어서 오랜만에 글을 써봅니다. 쓴다고 깔짝 정리해논게 많은데 요즘 생각할게 너무 많아서 포스팅에 게을러진 점 반성합니다 (_ _) 문자 인코딩(character Encoding) 먼저 인코딩이라는 것은 '정보의 형태나 형식을 변환하는 처리 또는 처리 방식'을 뜻한다. 인코딩은 문자 뿐 아니라 사진, 영상 등 다른 데이터 포맷에도 사용된다. 그 중 문자 인코딩은 글자를 어떤 코드표로 매핑시켜놓은 것을 말한다. ex) '갸' -> 98398492839 어떤 데이터를 받고 내 컴퓨터에서 열어봤는데 꿿휄쉙ㅇ!? 처럼 문자가 깨져서 온 적이 있을 것이다. 이는 상대방이 보낸 데이터의 인코딩 방식과 내 컴퓨터에서 설정된 인..
-
[Python] Effective Python 2 - Pythonic💫 Computer Science/Python & AI Framework 2021. 3. 1. 17:41
Pythonic 명시적이고, 단순하고, 가독성이 좋은것. Easy to read, Don't Repeat yourself How to make pythonic code 1. 한줄로 굳이 작성해도 되지 않아도 될 것을 한줄로 작성해서 시각적 잡음을 일으키지 말자. from urllib.parse import parse_qs my_values = parse_qs("빨강=5&초록=0&파랑=", keep_blank_values=True) red = my_values.get("빨강", [""])[0] or 0 print(f"빨강: {red!r}") green = my_values.get("초록", [""])[0] or 0 print(f"초록: {green!r}") blue = my_values.get("파랑", ..
-
[Python] Effective Python 1 - call by assignment💫 Computer Science/Python & AI Framework 2021. 2. 20. 01:16
내가 맨 처음에 파이썬을 좋아했던 이유는 코드를 짧게 쓸 수 있어서였다. 다른 언어로 하면 길어지는 코드를 한 줄로 만들 수 있는 경우가 되게 많았다. enumerate, zip 함수와 map, 리스트를 생성하는 동시에 for 문을 돌려버린다던지.. 하는 것들 뭔가 다른 언어들과 다른 느낌의 무언가가 굉장히 맘에 들었는데, 깔끔하고 정갈하고 독특하고 자유로운 그런 느낌 같은 문제를 풀어도 10명이면 7명은 코드를 다르게 짠다.. 그만큼 확장성이 좋고 개인적인 skeleton 코드를 가지기 좋은 언어라고 생각. 그치만 이렇게 코드를 짧고 간결하게 만들 수 있는데 만족하며 파이썬 언어 자체에 대한 컨셉의 이해도가 낮은 것 같아서 책을 한권 구입함. Effective Python : 파이썬 코딩의 기술 주로 ..