• 가상환경을 생성한다.

/mnt/c 경로에서 실행

→mkdir temp

→cd temp

→virtualenv venv

• 가상환경에서 pyspark를 설치한다.

→ source venv/bin/activate

→ pip install pyspark

• 다음 링크 접속

Quick Start - Spark 3.2.1 Documentation (apache.org)

• 다음 내용을 복사한다.

• README.md 파일 내용이다.

1
2
3

This program just counts the number of lines containing 'a' and the number containing 'b' in a text file. Note that you'll need to replace YOUR_SPARK_HOME with the location where Spark is installed. As with the Scala and Java examples, we use a SparkSession to create Datasets. For applications that use custom classes or third-party libraries, we can also add code dependencies to spark-submit through its --py-files argument by packaging them into a .zip file (see spark-submit --help for details). SimpleApp is simple enough that we do not need to specify any code dependencies.

We can run this application using the bin/spark-submit script:

→mkdir data

→cd data

→ls

→vi README.md

→ 위에서 복사한 내용을 붙여넣는다.

→ :wq

→ 내용 확인cat README.md

→ cd ..

→ vi SimpleApp.py

→ 코드 작성

1
2
3
4
5
6
7
8
9
10
11
12
13
14

from pyspark.sql import SparkSession

logFile = "data/README.md"  # Should be some file on your system
spark = SparkSession.builder.appName("SimpleApp").getOrCreate()
logData = spark.read.text(logFile).cache()

numAs = logData.filter(logData.value.contains('a')).count()
numBs = logData.filter(logData.value.contains('b')).count()

print("Lines with a: %i, lines with b: %i" % (numAs, numBs))

input("Typing....")

spark.stop()

→ 저장 후 실행

→ python3 SimpleApp.py

→ 경로 확인 : echo $SPARK_HOME

→ $SPARK_HOME/bin/spark-submit --master local[4] SimpleApp.py

• 코드 샐행 후
• 위 결과 참고하여 address 복사

→ 뒤에 :4041을 추가하여 주소창에 입력한다.

(코드 실행 후 나오는 텍스트에서 SparkUI를 확인하자)

→ 주소창에 입력하여 접속 : http://172.19.91.118:4041

→ 다음 화면 출력 시 성공.

• Reference :
  • Quick Start - Spark 3.2.1 Documentation
  • (apache.org)https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.types.StructType.html

WSL2에서의 Spark 설치 - Data Science | DSChloe

개요

• 간단하게 PySpark를 설치해보는 과정을 작성한다.
• WSL2 설치 방법은 다루지 않는다.

필수 파일 설치

• 설치가 안 되었을 경우에 설치한다.
• 자바 및 Spark 파일을 설치하도록 한다.

1
2
3

$ sudo apt-get install openjdk-8-jdk
$ sudo wget https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
$ sudo tar -xvzf spark-3.2.0-bin-hadoop3.2.tgz

.bashrc 파일 수정

• 경로를 다음과 같이 설정한다.

1
2

evan@evan:/mnt/c/hadoop$ pwd
/mnt/c/hadoop

• 설치한 파일은 다음과 같다.

1
2

evan@evan:/mnt/c/hadoop$ ls
spark-3.2.0-bin-hadoop3.2  spark-3.2.0-bin-hadoop3.2.tgz

• vi ~/.bashrc 파일을 열고 다음과 같이 코드를 작성한다.
  • 다른 코드는 건드리지 않는다.
  • 마지막 라인에서 작성한다.

1
2
3
4
5

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export SPARK_HOME=/mnt/c/spark
export PATH=$JAVA_HOME/bin:$PATH
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=/usr/bin/python3

테스트

• pyspark를 실행한다. (경로에 주의한다)
• SPARK_HOME을 다음과 같이 설정했으니 해당 경로에서 실행.
• export SPARK_HOME=/mnt/c/spark

경로 이동 : cd ..

→ cd spark/

→source ~/.bashrc

→pyspark

• 정상적으로 작동한지 테스트한다.
• 해당 경로에 README.md 파일이 있다면 시행해보자.

→rd = sc.textFile("README.md")

→rd.count()

→ 다음과 같이 출력된다면 성공이다.

• Reference : WSL2에서의 Spark 설치 - Data Science | DSChloe

Spark Installation on Windows 10 - Data Science | DSChloe

사전준비

• 스파크를 설치하는 과정이다.
• 사전에 파이썬 3가 설치되어 있어야 한다.
• 만약, 파이썬이 처음이라면 **Anaconda**를 설치한다.

자바 다운로드

• 자바를 설치한다. 설치 파일은 아래에서 다운로드 받는다.
  • 설치파일: Java SE 8 Archive Downloads (JDK 8u211 and later)
• 설치 시, 오라클 로그인이 필요 할 수도 있다.

Spark 다운로드

• 이번에는 Spark를 설치한다.
• 설치파일 다운로드
  • 설치 URL: https://www.apache.org/dyn/closer.lua/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz (2022년 1월 기준)

WinRAR 다운로드

• 이 때, .tgz 압축파일을 풀기 위해서는 WinRAR 을 설치한다.
  • 설치 파일: https://www.rarlab.com/download.htm
  • 본인 컴퓨터에 맞는 것을 설치한다.
  • WinRARx64 (64bit) 6.11 버전 다운로드

winutils 다운로드

• 이번에는 스파크가 윈도우 로컬 컴퓨터가 Hadoop으로 착각하게 만들 프로그램이 필요하다.
  • 설치파일: https://github.com/cdarlint/winutils
  • 여기에서 각 설치 버전에 맞는 winutils를 다운로드 받는다.
• 이전에 받은 spark-3.2.0-bin-hadoob-3.2.tgz 와 버전이 일치하는 것을 선택해야 한다.
  • 3.2.0 버전을 다운로드 받았다.

자바 설치 진행

• C 드라이브에 폴더 생성 : hadoob
• 다운로드 받은 파일 4개를 C/hadoob 에 복사하여 옮긴다

• 관리자 권한으로 실행 : jdk-8u311-windows-x64

• 계속 Next 버튼 클릭 후, 아래 파일에서 경로를 수정한다. (이 때, Program Files 공백이 있는데, 이러한 공백은 환경 설치 시 문제가 될 수 있다.)
• Development Tools 선택
• change 버튼으로 변경을 진행한다.

• c 드라이브 경로로 이동
• Foldername: jdk 입력
  • 다음 그림과 같아야 한다.

• Java를 다른 폴더에 설치하려 한다.
• 변경(C)…

• c 드라이브 경로에서 ‘새 폴더 만들기(M)’
• 폴더 생성 : jre

• 다음과 같이 설치 위치가 지정된다.

• 성공적으로 설치되었다.

winrar 설치 진행

• 관리자 권한으로 실행 : winrar-x64-611

• 기본 설정으로 설치 진행

spark 설치 진행

• Spark 설치를 진행한다.
• 설치 파일 우클릭 → Extract to “spark-3.2.0-bin-hadoop3.2|”

spark 폴더 생성 및 파일 이동

• 위 과정 이후 폴더가 생성된다.
• 파일 이동을 하도록 한다.
  • spark-3.2.0-bin-hadoop3.2 폴더 내 모든 파일을 복사한다.
• 그 후, C드라이브 하단에 spark 폴더를 생성한 후, 모두 옮긴다.

log4j.properties 파일 수정

• C -> spark → conf → [log4j.properties](http://log4j.properties) 파일을 연다.
• 해당 파일을 메모장으로 연 후, 아래에서 INFO → ERROR 로 변경한다.
  • 작업 실행 시, 출력하는 모든 logs 값들을 없앨 수 있다.
  • 다음과 같이 설정 후 저장

winutils 설치 진행

• C드라이브에서 winutils-bin 폴더를 차례로 생성한다.
• 다운로드 받은 winutils 파일을 복사하여 옮긴다.

• 이 파일이 Spark 실행 시, 오류 없이 실행될 수 있도록 파일 사용 권한을 얻도록 한다.
  • 이 때에는 CMD 관리자 권한으로 파일을 열어서 실행한다.
• 관리자 권한으로 실행 : 명령 프롬프트

• 다음 코드들을 시행

→ cd c:\winutils\bin

→ winutils.exe chmod 777 \tmp\hive

• 만약, ChangeFileModeByMask error (3) 에러 발생 시,

  C드라이브 하단에, tmp\hive 폴더를 차례대로 생성을 한다.

• 실행 결과, 에러가 발생했으므로 C드라이브에 폴더를 생성한다.
• 폴더 생성 : tmp
  • 폴더 생성 : hive
• 다시 코드를 실행한다.

→ winutils.exe chmod 777 \tmp\hive

→ 오류없이 실행되었다.

환경변수 설정

• ‘시스템 환경 변수 편집’ 열기

→ 환경 변수(N)..

시스템 환경변수를 설정한다.

• 각 사용자 계정에 사용자 변수 - 새로 만들기 버튼을 클릭한다.

• 다음과 같이 설정
• SPARK_HOME 환경변수를 설정한다.

• JAVA_HOME 환경변수를 설정한다.

• HADOOP_HOME 환경변수를 설정한다.

• 환경변수를 편집한다.
• Path 선택 → 편집(E)…

• 아래 코드를 추가한다.
• 새로 만들기
  • %SPARK_HOME%\bin
  • %JAVA_HOME%\bin

파이썬 환경설정

• Python 환경설정을 추가한다.
• PYSPARK_PYTHON 환경변수를 설정한다.

• PYSPARK_DRIVER_PYTHON 환경변수를 설정한다.
• 일단 지운다.

• PYSPARK_DRIVER_PYTHON_OPTS 환경변수를 설정한다.
• 일단 삭제한다.

스파크 테스트

• 명령 프롬프트에서 진행

→ c:\spark 폴더로 경로를 설정 한다.

→ pyspark

• 이번에는 [README.md](http://README.md) 파일을 불러와서 아래 코드가 실행되는지 확인한다.
• 다음 코드를 실행해 본다.

→rd = sc.textFile("README.md")

→rd.count()

→ 다음 결과 출력 시 성공.

• Reference
  • Spark Installation on Windows 10 - Data Science | DSChloe

pyspark 실습_1

pyspark_실습_2

pyspark_실습_3

Spark on linux

Spark UI

Spark ML