Apache Spark 1.5.0 설치

일단 내 환경은 Apache Hadoop 2.6.0 을

fl1, fl2, fl3, fl4, fl5

총 5개의 centos 6.7 vm 에 설치하여

5개의 vm 전체에 spark 을 설치하여 standalone 모드로 돌려 볼 생각이다

fl1 - namenode, datanode, history-server, spark master

fl2 - datanode, spark slave

fl3 - datanode, spark slave

fl4 - datanode, spark slave

fl5 - datanode, spark slave

http://spark.apache.org/downloads.html

위 사이트에 들어가서 다운로드 받던지 아래를 실행하여 다운받고

적당한 위치로 다운받은 파일을 복사 후 압축을 푼다

cd ~/Downloads wget http://mirror.apache-kr.org/spark/spark-1.5.0/spark-1.5.0.tgz cp ~/Downloads/spark-1.5.0.tgz /usr/local/java/ tar zxvf spark-1.5.0.tgz mv spark-1.5.0 spark-1.5.0-src cd spark-1.5.0-src/

그리고 아래를 실행하여 빌드를 한다

내가 설치한 하둡은 2.6.0 이어서 2.6 으로 줬다

./make-distribution.sh --name custom-spark --tgz -Phadoop-2.6 -Pyarn

혹시 maven perm gen 오류가 나면 아래를

~/.bashrc

~/.profile

~/.bash_profile

/etc/bashrc

/etc/profile

5개 중 하나에 추가한다

난 모든 사용자 공통으로 적용되도록 /etc/bashrc 에 추가했다

적절히 각자 환경에 맞는 곳에 추가한다

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m $MAVEN_OPTS"

그리고 한참(나는 약 1시간 걸렸다) 지나면 빌드가 끝나고

spark-1.5.0-bin-custom-spark.tgz 파일이 생성된다.

파일을 일단 다른 곳에 복사해둔 뒤

소스와 같은 위치에 압축을 풀어준다

cp spark-1.5.0-bin-custom-spark.tgz ~/Downloads/ cd .. cp ~/Downloads/cp spark-1.5.0-bin-custom-spark.tgz ./ tar zxvf spark-1.5.0-bin-custom-spark.tgz mv spark-1.5.0-bin-custom-spark spark-1.5.0 cd spark-1.5.0

그리고 SPARK_HOME 과 PATH 를 등록해준다

export SPARK_HOME=/usr/local/java/spark-1.5.0 export PATH=$SPARK_HOME/bin:SPARK_HOME/sbin/:$PATH

그리고나서 아래 설정사항들을 입력한다

cd conf cp slaves.template slaves cp spark-defaults.conf.template spark-defaults.conf cp spark-env.sh.template spark-env.sh vi slaves vi spark-defaults.conf vi spark-env.sh

slaves

fl2 fl3 fl4 fl5

spark-defaults.conf

spark.master=spark://fl1:7077 spark.eventLog.enabled=true spark.eventLog.dir=hdfs://fl1:9000/user/spark/applicationHistory spark.driver.extraLibraryPath=/home/cloudine/hadoop/lib/native spark.executor.extraLibraryPath=/home/cloudine/hadoop/lib/native # spark.serializer=org.apache.spark.serializer.KryoSerializer # spark.driver.memory=5g

spark-env.sh

SPARK_MASTER_IP=fl1 SPARK_MASTER_PORT=7077 SPARK_MASTER_WEBUI_PORT=8077 SPARK_WORKER_PORT=7078 SPARK_WORKER_WEBUI_PORT=8078

useradd spark usermod -a -G hdfs spark su spark hdfs dfs -chmod -R 755 /user/spark