왕초보 프로그래머 Sky

ssh 접속이 느려서 이것저것 테스트를 해봤는데

아이피를 입력하면 접속이 빠른데 hostname 을 입력하면 접속이 느렸다

그래서 /etc/ssh/ssh_config 파일에 AddressFamily inet 를 추가해줬다

기본은 AddressFamily any 가 주석처리 돼있다

http://jeromejaglale.com/doc/mac/fix_ssh_connection_delays

위 글에서 2015년 12월 29일 댓글 참고.

Apache HAWQ 2.0.0 을 resource manager 를 yarn 으로 설치 후 pgadmin 으로 연결하려고 하자

pg_resqueue table 이 없어서 연결이 안되고

hawq yarn application 이 재시작 되었다.

그래서 Pivotal HAWQ 2.0.0 을 설치하기로 하고 그 전에 HDP 를 설치했다.

http://hskimsky.tistory.com/111

그리고나서 pgadmin 으로 HAWQ 에 연결하려고 하자 여전히 yarn 에서 hawq 가 재시작됐다.

왜 이러는지 문서를 더 찾아보든가 committer 에게 문의하든가 해야겠다

일단 목표는 타조 설치 후 mysql 로 metadata 를 저장하는 것이다

tajo 를 설치하기 위해서는 protocol buffer 2.5.0 이 필요하다고 한다.

저번에 이미 protocol buffer 2.5 는 설치했다

내 환경은

iMac 이고 os 는 10.10 Yosemite 에서 Parallels 8 로 ubuntu 12.04 를 띄워서 테스트 했다

ubuntu 12.04

apache hadoop 2.6.0

mysql 5.5.43

oracle java 1.7.0_80

apache maven 3.3.3

protocol buffer 2.5.0

싱글 노드로 테스트 할것이다

일단 git 에서 tajo 를 받는다

현재는 0.11.0 이 받아진다

페이스북 한국 타조 유저 그룹을 보니 0.11.0 에 row 단위 insert 기능이 추가 될 예정이라고 한다

tajo 는 대용량 데이터 저장 용도로 설계됐기 때문에 되지 않았다고 한다

테스트 결과 0.11.0 이지만 아직 구현은 안된것 같다 syntax error 가 난다.

$ git clone https://github.com/apache/tajo.git

$ cd tajo

$ mvn clean install -DskipTests -Pdist -Dtar -Dhadoop.version=2.6.0

$ cd tajo-dist/target/tajo-0.11.0-SNAPSHOT/conf

$ cp catalog-site.xml.template catalog-site.xml

$ cp tajo-site.xml.template tajo-site.xml

$ vi catalog-site.xml

tajo.catalog.jdbc.connection.id

tajo.catalog.jdbc.connection.password

tajo.catalog.store.class

  <value>org.apache.tajo.catalog.store.MySQLStore</value>

tajo.catalog.jdbc.uri

4개 속성의 주석을 제거하고 각자 환경에 맞게 수정한다.(tajo.catalog.store.class 속성의 value 는 그대로 둔다)

$ vi tajo-site.xml

tajo.rootdir 속성을 각자 환경에 맞게 수정한다.

나는 hdfs://localhost:54310 으로 수정했다

$ vi tajo-env.sh

HADOOP_HOME

JAVA_HOME

TAJO_CLASSPATH

3가지 속성을 수정한다.(TAJO_CLASSPATH 는 mysql jdbc jar 파일의 절대경로를 적어준다)

$ vi ~/.bashrc

맨 아래에 아래를 추가해준다

export TAJO_HOME=[설치한 tajo 경로]/tajo-dist/target/tajo-0.11.0-SNAPSHOT

export PATH=$PATH:$TAJO_HOME/bin

$ source ~/.bashrc

$ cd $TAJO_HOME/bin

$ ./start-tajo.sh

$ ./tsql

default>

default> 가 뜨면 성공!

그러면 hdfs 상에 /system, /tmp, /warehouse 가 생기고

mysql 에 tajo 라는 database 가 생길 것이다