[SPARK] WINDOWS에 PySpark 설치

※ python(version 3 이상) 설치되었다는 가정 하에 설치

 

1. JAVA 설치
2. SPARK 설치
3. winutils 설치
4. pyspark 설치
5. 설치 확인

---

1. JAVA 설치

SPARK 3.0.1은 java 11을 지원하므로 밑의 url에 들어가 중간의 11 JDK 다운로드를 선택.

그 전에 오라클 계정 만들기 필수

www.oracle.com/java/technologies/javase-downloads.html

 

윈도우 버전 클릭 후 next, next 누르면서 설치.

 

제어판 - 시스템 및 보안 - 시스템 들어가서 고급 시스템 설정, 환경 변수 클릭

환경 변수, 시스템 변수 편집

• 환경 변수 편집 Path에 %JAVA_HOME%bin추가
• JAVA_HOME 시스템 변수 추가 C:\Program Files\Java\jdk-11.0.9

변수 추가 후 잘 설치되었는지 cmd에서 확인: java -version

설치 완료

 

2. 스파크 다운로드 (하둡 2.7)

spark.apache.org/downloads.html

Downloads | Apache Spark

tgz 파일 다운로드 링크 들어가면 HTTP 등 사이트 나오는 데 그 중 하나 클릭해서 다운로드 시작

 

내 PC의 C: 드라이브 안에 Spark 폴더 생성해 tgz 파일을 폴더 안으로 옮겨준다.

이후 tgz 압축 해제하기

 

3. Winutils 설치하기

내 PC - Windows(C:) 밑에 Hadoop 폴더 생성 후 그 안에 bin 폴더 생성

winutils.exe 파일 그 폴더에 다운로드

http://github.com/cdarlint/winutils

cdarlint/winutils

SPARK 설치 시 하둡 2.7 버전 선택했으므로 하둡 2.7 폴더에 들어가 winutils.exe 다운로드

이제 다시 환경변수 편집(고급 시스템 설정 - 환경 변수)으로 가서 시스템 변수 편집

시스템 변수 새로 만들기 - SPARK_HOME이름으로 C:\Spark\spark-3.0.1-bin-hadoop2.7 변수 추가

시스템 변수 새로 만들기 - HADOOP_HOME 이름으로 C:\Hadoop 변수 추가

이제 Path 시스템 변수에 %SPARK_HOME%\bin 과 %HADOOP_HOME%\bin 추가

 

위에서부터 추가했던 환경 변수들까지 확인 가능

 

4. cmd에서 pyspark pip으로 설치 'pip install pyspark'

5. cmd에서 설치 확인 'pyspark'