TY_IT💻

※ python(version 3 이상) 설치되었다는 가정 하에 설치 JAVA 설치 SPARK 설치 winutils 설치 pyspark 설치 설치 확인 1. JAVA 설치 SPARK 3.0.1은 java 11을 지원하므로 밑의 url에 들어가 중간의 11 JDK 다운로드를 선택. 그 전에 오라클 계정 만들기 필수 www.oracle.com/java/technologies/javase-downloads.html 윈도우 버전 클릭 후 next, next 누르면서 설치. 제어판 - 시스템 및 보안 - 시스템 들어가서 고급 시스템 설정, 환경 변수 클릭 환경 변수, 시스템 변수 편집 환경 변수 편집 Path에 %JAVA_HOME%bin추가 JAVA_HOME 시스템 변수 추가 C:\Program Files\Jav..

최근 대규모 데이터로 병렬처리가 많이 중요해졌다. 그리고 파이썬에는 병렬처리를 제공하는 패키지인 multiprocessing이 있다. 이번 포스팅은 multiprocessing 패키지를 이용해 cpu 코어 수만큼 병렬 처리하는 과정을 보여줄 예정이다. 1. CPU에 있는 코어의 수를 multiprocessing.cpu_count()를 이용해 확인 import multiprocessing as mp num_cores = mp.cpu_count() # cpu 코어 수 반환 2. Dataframe multiprocessing 데이터프레임 병렬 처리, 한 줄씩 처리 def parallel_dataframe(df, func, num_cores): df_split = np.array_split(df, num_cor..