1. None은 == 로 필터링 되지 않는다. df[df["City"] == None] // X df[df["City"].isnull()] // O df[df["City"].isna()] // O pandas를 사용할 경우 결측값은 None이 아닌 np.nan 을 이용한다. 2. 결측값과 isna, isnull pandas에서 결측값(missing value)를 확인하는 메소드는 .isna()와 .isnull()이 있고 결측값일 경우 True라고 표시된다. 이 경우에도 df[df["City"] == np.nan] // X 으로 잡히지 않는다. 왜냐하면 np.nan == np.nan // False NaN 끼리는 비교 연산자가 먹히지 않기 때문이다. 그리고 isnull()과 isna()의 차이점은 '없다'..

자연어 처리를 하다보면 인코딩에 대해 아는 것이 생각보다 중요해서 정리 한번 하고 넘어가고 싶어서 오랜만에 글을 써봅니다. 쓴다고 깔짝 정리해논게 많은데 요즘 생각할게 너무 많아서 포스팅에 게을러진 점 반성합니다 (_ _) 문자 인코딩(character Encoding) 먼저 인코딩이라는 것은 '정보의 형태나 형식을 변환하는 처리 또는 처리 방식'을 뜻한다. 인코딩은 문자 뿐 아니라 사진, 영상 등 다른 데이터 포맷에도 사용된다. 그 중 문자 인코딩은 글자를 어떤 코드표로 매핑시켜놓은 것을 말한다. ex) '갸' -> 98398492839 어떤 데이터를 받고 내 컴퓨터에서 열어봤는데 꿿휄쉙ㅇ!? 처럼 문자가 깨져서 온 적이 있을 것이다. 이는 상대방이 보낸 데이터의 인코딩 방식과 내 컴퓨터에서 설정된 인..

Pythonic 명시적이고, 단순하고, 가독성이 좋은것. Easy to read, Don't Repeat yourself How to make pythonic code 1. 한줄로 굳이 작성해도 되지 않아도 될 것을 한줄로 작성해서 시각적 잡음을 일으키지 말자. from urllib.parse import parse_qs my_values = parse_qs("빨강=5&초록=0&파랑=", keep_blank_values=True) red = my_values.get("빨강", [""])[0] or 0 print(f"빨강: {red!r}") green = my_values.get("초록", [""])[0] or 0 print(f"초록: {green!r}") blue = my_values.get("파랑", ..

NLTK는 Natural Language ToolKit의 약자로 자연어 처리 및 분석, 텍스트마이닝을 위한 파이썬 패키지 입니다. NLTK는 토큰생성, 형태소 분석, 품사태깅 등의 다양한 기능을 제공하고 예제로 활용할 수 있는 말뭉치도 제공하고 있습니다. ● NLTK 설치 저는 아나콘다 환경에서 파이썬을 사용하고 있으므로 이미 루트 가상환경에 NLTK가 설치가 되어있었습니다. KoNLPy와 다르게 별도의 설정등을 해줄 필요가 없습니다.아나콘다 내에서 가상환경을 따로 만들어 설치를 해줄시엔 해당 가상환경 activate 후에 > conda install nltk] > conda update nltk 위 명령어를 입력하여 설치해주면 됩니다. 하지만 예제를 수행하면 여러 에러 메세지들을 볼 수 있습니다. 예를..