💫 Computer Science/Python & AI Framework
-
[Python] 모듈 상대경로(ImportError: attempted relative import with no known parent package)💫 Computer Science/Python & AI Framework 2021. 10. 8. 11:29
파이썬에서 모듈을 만들어서 import 하다보면 ImportError: attempted relative import with no known parent package 위 에러를 많이 만나게 된다. 패키지 안에서 스크립트 파일(실행 파일)을 실행 시키려고 했을 때 발생하는 에러이다. 일단 이유는 파이썬의 인터프리터가 __main__ 의 위치를 알지 못하기 때문에 위 같은 에러가 발생하는 것이다. 파이썬의 인터프리터는 relative import의 모듈 위치를 정할 때(기준이 되는 위치) __name__ 속성에 의해 결정되고 터미널에서 파이썬을 직접 실행시키면 __name__ == '__main__'이 되기 때문이다. 이 부분이 이해가 잘 안된다면, 먼저 모듈과 패키지의 차이에 대해서 이해해야 한다. 모..
-
[Python] collections & itertools 의 유용한 함수들💫 Computer Science/Python & AI Framework 2021. 9. 2. 17:22
파이썬 collections 모듈 collections는 데이터 처리를 위한 유용한 함수를 제공하는데, dict, list, set, tuple 타입의 자료형에서 확장된 기능을 제공하는 built-in module이다. namedtuple() factory function for creating tuple subclasses with named fields deque list-like container with fast appends and pops on either end ChainMap dict-like class for creating a single view of multiple mappings Counter dict subclass for counting hashable objects Order..
-
[Pandas] 메모리 줄이기 read_csv, chunk, multiprocessing💫 Computer Science/Python & AI Framework 2021. 7. 1. 00:45
pandas는 디스크말고 RAM에 데이터를 적재하는데, 이때 Contiguous Memory Allocation(연속 메모리 할당) 방식을 사용한다. 디스크 적재시(Reading from SSDs) : ~16000 nanoseconds 램 적재시(Reading from RAM) : ~100 nanoseconds **Contiguous Memory Allocation(consecutive blocks are assigned) : logical address가 연속적이면 physical address도 연속적으로 배치된다. **NonContiguous Memory Allocation(separate blocks at different locations) 멀티프로세싱과 GPU를 사용하기 전에, pd.read_..
-
Pandas vs PySpark💫 Computer Science/Python & AI Framework 2021. 6. 22. 23:41
Do you: Already know Python & Pandas? Love DataFrames? Want to work with Big Data? ➡ Then PySpark is the answer 요즘 파이썬 & 판다스 & 넘파이 조합으로 데이터 분석을 진행 중에 있다. 아직 데이터가 많지도 않고 하나의 데이터 프레임의 크기가 크지도 않아서 저 조합으로도 충분히 커버가 가능하다. 하지만 Spark를 공부해보고자 맘 먹은 이유는 추후 데이터가 많아질 경우를 대비해 수평 확장성을 고려 추후 로그 데이터 분석이 필요할 경우 여러 시각화 플랫폼과의 연결성 서버가 더 생기거나 클라우드를 이용해서 클러스터를 생성할 경우 분산 처리에 대한 대비 빅데이터 플랫폼이 파이썬 패키지를 이용한 분석보다 쾌적한지에 대한 의..