왕초보 프로그래머 Sky

처음 목표는 phd 에 tajo 설치였으나 아직 phd 는 지원하지 않는건지 실패하고나서

apache hadoop 에 tajo 를 설치하였다

os 는 rhel 6.6

hadoop 은 apache hadoop 2.6.0

노드 2개로 하둡 클러스터를 구성하였다

1번에 Namenode, HistoryServer, Datanode

2번에 ResourceManager, Datanode

tajo 는 0.11.0

TajoMaster 는 1번

TajoWorker 는 1번, 2번

Catalog 는 mysql 로 할 계획이다

설치 후 start-tajo.sh 를 실행하였는데 실행이 잘 되는듯 보였으나

1번에 TajoMaster 가 올라오지 않았다

로그를 보니(아래 로그 참조) PARTITION_KEYS table 생성시 key was too long 이란다

mysql character set 이 utf8 이어서 그랬다

그래서 임시로 다시 latin 으로 변경(utf8 설정을 주석) 후 mysqld 재시작 하고

tajo database 를 다시 만든 후에 start-tajo.sh 를 실행하니 정상적으로 올라왔다

tsql 도 정상 실행 되었다

tajo 실행시 mysql catalog create 문은

https://github.com/apache/tajo/blob/master/tajo-catalog/tajo-catalog-server/src/main/resources/schemas/mysql/mysql.xml

에서 확인할 수 있다

mysql 설정을 다시 utf8 로 바꾼 후 tajo 를 재시작 해도 잘 실행되었다

2015-11-01 21:05:52,224 WARN org.apache.tajo.catalog.store.XMLCatalogSchemaManager: Failed to drop database objects TABLE PARTITION_KEYS

2015-11-01 21:05:52,225 ERROR org.apache.tajo.catalog.CatalogServer: CatalogServer initialization failed

java.lang.reflect.InvocationTargetException

        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)

        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

        at java.lang.reflect.Constructor.newInstance(Constructor.java:526)

        at org.apache.tajo.catalog.CatalogServer.serviceInit(CatalogServer.java:135)

        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)

        at org.apache.tajo.master.TajoMaster.serviceInit(TajoMaster.java:213)

        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

        at org.apache.tajo.master.TajoMaster.main(TajoMaster.java:603)

Caused by: org.apache.tajo.exception.TajoInternalError: internal error: internal error: Specified key was too long; max key length is 1000 bytes

        at org.apache.tajo.catalog.store.AbstractDBStore.<init>(AbstractDBStore.java:190)

        at org.apache.tajo.catalog.store.MySQLStore.<init>(MySQLStore.java:34)

        ... 10 more

http://www.javapractices.com/topic/TopicAction.do?Id=82

http://www.xuggle.com/xuggler

license 는 GPL3 / LGPL3

http://jcodec.org

roadmap 에 GPU 사용은 있으나 현재 지원하지 않음

읽기 속도가 iMac 에서도 느림

http://1004lucifer.blogspot.kr/2014/07/intellij-svn-is-out-of-date.html

rsync -rvCtL --delete --include="*.tar.gz" --include="PACKAGES*" --exclude="*/*" cran.r-project.org::CRAN/src/contrib ./

2016-05-14 현재 PHD 지원 중단으로 다운로드가 전부 불가능함.

#########################################################

생략된 부분이 아주 많으므로

pivotal guide 를 꼭 읽어보면서 진행한다

http://pivotalhd.docs.pivotal.io/docs/install-ambari.html

rhel 6.6

jdk1.7.0_79

PHD 3.0.1.0

Ambari 1.7.1

위의 환경에서 진행하였고 HAWQ 는 설치하지 않았다

중간에 yum repository 를 dvd 로 잡아주는 과정이 있다

###################################################################

install PHD3.0.1.0 with Ambari 1.7.1

모든 서버에 ambari-server 를 설치할 서버의 ssh public key 가

~/.ssh/authorized_keys 에 등록돼 있어야 한다

자기 자신과도 키 교환을 해야 한다

모든 작업은 root 로 진행했다

############## 아래 명령어들을 모든 노드에서 실행

vi /etc/hosts

# 아이피를 적절히 넣어준다. 3번째 열 ex1.phd.local 이 부분이 중요하다

# fqdn 인데 . 으로 구분하고 맨 앞에 host 그 뒤가 도메인 네임이다

# host 는 되도록 아래 형식과 비슷하게 하는 것이 나중에 ambari 에서 host 등록이 편하다

# 뭐 크게 불편한 것도 아니지만..

123.123.123.111 ex1 ex1.phd.local

123.123.123.112 ex2 ex2.phd.local

123.123.123.113 ex3 ex3.phd.local

123.123.123.114 ex4 ex4.phd.local

123.123.123.115 ex5 ex5.phd.local

123.123.123.116 ex6 ex6.phd.local

# 시간 동기화를 해준다 돼있다면 필요없다

date

rdate -s time.bora.net

date

service iptables stop

mkdir -p /etc/sysctl.d

( cat > /etc/sysctl.d/99-hadoop-ipv6.conf <<-'EOF'

## Disabled ipv6

## Provided by Ambari Bootstrap

net.ipv6.conf.all.disable_ipv6 = 1

net.ipv6.conf.default.disable_ipv6 = 1

net.ipv6.conf.lo.disable_ipv6 = 1

EOF

    )

sysctl -e -p /etc/sysctl.d/99-hadoop-ipv6.conf

vi /etc/rc.local 

if test -f /sys/kernel/mm/redhat_transparent_hugepage/enabled; then 

   echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled; fi

if test -f /sys/kernel/mm/redhat_transparent_hugepage/defrag; then 

   echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag; fi

setenforce 0

vi /etc/selinux/config

SELINUX=disabled

vi /etc/yum/pluginconf.d/refresh-packagekit.conf

# 1 => 0

reboot

cat /sys/kernel/mm/redhat_transparent_hugepage/enabled

cat /sys/kernel/mm/redhat_transparent_hugepage/defrag 

# 둘 다 아래의 결과가 나와야 한다

    always madvise [never]

mkdir /usr/java

cd /usr/java

# jdk 를 다운받아 놨다

tar zxvf ~/Downloads/jdk-7u79-linux-x64.gz -C /usr/java/

ln -s /usr/java/jdk1.7.0_79/ /usr/java/default

# 각자 알아서 좋아하는 위치에 export 한다

vim /etc/bashrc

export JAVA_HOME=/usr/java/default

export PATH=$JAVA_HOME/bin:$PATH

source /etc/bashrc

java -version

[rhel-dvd]

name=Red Hat Enterprise Linux $releasever - $basearch - DVD

baseurl=file:///media/RHEL-6.6\ Server.x86_64/

gpgcheck=0

yum clean all

# ntpd 를 시작하지 않으면 ambari 에서 설치시 warning 이 뜬다

service ntpd start

########## ambari-server 가 설치된 서버에서만 실행

service httpd start

mkdir /staging

chmod a+rx /staging

tar zxvf ~/Downloads/AMBARI-1.7.1-88-centos6.tgz -C /staging/

/staging/AMBARI-1.7.1/setup_repo.sh

setenforce 0

curl http://ex1/AMBARI-1.7.1/repodata/repomd.xml

cd /staging

yum -y install ambari-server

# JCE 도 미리 받아놨다

cp UnlimitedJCEPolicyJDK7.zip /var/lib/ambari-server/resources/

# 아래 순서대로 입력한다

# java 는 custom java 로 하고 db 는 embedded postgresql 을 사용한다

# mysql 로 해도 되는데 mysql 로 했다가

# hive 를 ambari-server 와 같은 위치에 설치했다가 ambari 가 죽었다

ambari-server setup

n

2

/usr/java/default

n

ambari-server start

# PHD 관련된 것들을 미리 받아놨다

tar xvf PHD-UTILS-1.1.0.20-centos6.tar

tar zxvf PHD-3.0.1.0-1-centos6.tgz

PHD-UTILS-1.1.0.20/setup_repo.sh

PHD-3.0.1.0/setup_repo.sh

yum repolist

이제 터미널 작업 끝

browser 에서 http://ex1:8080 접속

admin // admin 접속

Launch Install Wizard 버튼 클릭

ex (원하는 이름) 입력 후 Next 버튼 클릭

Advanced Repository Options 클릭

redhat6 만 남기고 모두 체크 해제

http://ex1/PHD-UTILS-1.1.0.20

http://ex1/PHD-3.0.1.0

입력

ex[1-6].phd.local

입력

Provide.... 라디오버튼 클릭

ambari-server 설치된 곳의 ssh private key 선택

root

Register and Confirm 버튼 클릭

OK 클릭

실패할 경우엔 키교환이 모든 서버와 잘 돼있는지 확인한다

그래도 실패할 경우 서버마다 전부 root 로 로그인 해주고나서 Back 누르고 다시 Register and Confirm 눌러본다

Next

일단 전부 설치하고 서비스를 죽이려고 한다 Next

1번에 너무 몰아서 설치하는 느낌이 있긴 하지만 거의 대부분 서비스 종료시킬 것이다 Next

ex5, ex6 의 client 만 추가로 체크해줬다 Next

빨간불이 몇개 들어와 있을텐데 적절히 설정하여 빨간 불을 꺼준다 Next

리뷰 한번 봐 주고 프린트도 하려면 하고 Deploy!!!!!

실패할 경우 모든 서버의 yum repository 가 잘 설정 돼있는지 확인한다 Next

끝! Complete!!!!

Loading...

Dashboard 를 확인할 수 있다

http://www.joinc.co.kr/modules/moniwiki/wiki.php/Site/Tip/Rsync

그리고 한참(나는 약 1시간 걸렸다) 지나면 빌드가 끝나고

spark-1.5.0-bin-custom-spark.tgz 파일이 생성된다.

파일을 일단 다른 곳에 복사해둔 뒤

소스와 같은 위치에 압축을 풀어준다

그리고 SPARK_HOME 과 PATH 를 등록해준다

그리고나서 아래 설정사항들을 입력한다

설치 환경

OSX 10.10 에서 parallels 8 로 CentOS 6.6 을 띄워서 작업

Oracle java 1.7.0_79

fl1 이라는 서버에 zookeeper server 를 3개 띄울 것이다

간혹 # 뒤에 문자열이 더 있는 건 2번 또는 3번에서 그렇게 설정한다

zookeeper.log.dir=/var/lib/zookeeper/1/logs # /var/lib/zookeeper/2/logs /var/lib/zookeeper/3/logs

ZOO_LOG_DIR="/var/lib/zookeeper/1/logs” # /var/lib/zookeeper/2/logs /var/lib/zookeeper/3/logs

# zookeeper 복사 sudo cp -R zookeeper-3.4.6_1/ zookeeper-3.4.6_2 sudo cp -R zookeeper-3.4.6_1/ zookeeper-3.4.6_3 sudo chown -R hskimsky:hskimsky zookeeper-3.4.6_* # 2, 3 설정 cd zookeeper-3.4.6_2 vi conf/zoo.cfg # dataDir, dataLogDir, clientPort vi conf/log4j.properties vi bin/zkEnv.sh cd ../zookeeper-3.4.6_3 vi conf/zoo.cfg vi conf/log4j.properties vi bin/zkEnv.sh # zookeeper Server start zookeeper-3.4.6_1/bin/zkServer.sh start zookeeper-3.4.6_2/bin/zkServer.sh start zookeeper-3.4.6_3/bin/zkServer.sh start zookeeper-3.4.6_1/bin/zkCli.sh -server fl1:2181,fl1:2182,fl1:2183

zookeeper cli 에 접속되면 아래를 입력하여 제대로 나오는지 확인한다

create /test test Created /test ls / [test, zookeeper] get /test test ...

http://d2.naver.com/helloworld/1113548