반응형
일단 내 환경은 Apache Hadoop 2.6.0 을
fl1, fl2, fl3, fl4, fl5
총 5개의 centos 6.7 vm 에 설치하여
5개의 vm 전체에 spark 을 설치하여 standalone 모드로 돌려 볼 생각이다
fl1 - namenode, datanode, history-server, spark master
fl2 - datanode, spark slave
fl3 - datanode, spark slave
fl4 - datanode, spark slave
fl5 - datanode, spark slave
위 사이트에 들어가서 다운로드 받던지 아래를 실행하여 다운받고
적당한 위치로 다운받은 파일을 복사 후 압축을 푼다
그리고 아래를 실행하여 빌드를 한다
내가 설치한 하둡은 2.6.0 이어서 2.6 으로 줬다
혹시 maven perm gen 오류가 나면 아래를
~/.bashrc
~/.profile
~/.bash_profile
/etc/bashrc
/etc/profile
5개 중 하나에 추가한다
난 모든 사용자 공통으로 적용되도록 /etc/bashrc 에 추가했다
적절히 각자 환경에 맞는 곳에 추가한다
그리고 한참(나는 약 1시간 걸렸다) 지나면 빌드가 끝나고
spark-1.5.0-bin-custom-spark.tgz 파일이 생성된다.
파일을 일단 다른 곳에 복사해둔 뒤
소스와 같은 위치에 압축을 풀어준다
그리고 SPARK_HOME 과 PATH 를 등록해준다
그리고나서 아래 설정사항들을 입력한다
slaves
spark-defaults.conf
spark-env.sh
반응형
'[BigData] > [Apache Spark]' 카테고리의 다른 글
| Databricks Data Engineer Professional Exam 후기 (2) | 2023.06.18 |
|---|---|
| spark rest 호출 (0) | 2016.02.18 |
| 용어정리 (0) | 2016.02.06 |
| 현재값과 다음값 비교 자바 버전 compare current value & next value java version (0) | 2015.11.13 |
| spark 피어슨 상관계수 계산 (0) | 2015.11.09 |
