왕초보 프로그래머 Sky

처음 목표는 phd 에 tajo 설치였으나 아직 phd 는 지원하지 않는건지 실패하고나서

apache hadoop 에 tajo 를 설치하였다

os 는 rhel 6.6

hadoop 은 apache hadoop 2.6.0

노드 2개로 하둡 클러스터를 구성하였다

1번에 Namenode, HistoryServer, Datanode

2번에 ResourceManager, Datanode

tajo 는 0.11.0

TajoMaster 는 1번

TajoWorker 는 1번, 2번

Catalog 는 mysql 로 할 계획이다

설치 후 start-tajo.sh 를 실행하였는데 실행이 잘 되는듯 보였으나

1번에 TajoMaster 가 올라오지 않았다

로그를 보니(아래 로그 참조) PARTITION_KEYS table 생성시 key was too long 이란다

mysql character set 이 utf8 이어서 그랬다

그래서 임시로 다시 latin 으로 변경(utf8 설정을 주석) 후 mysqld 재시작 하고

tajo database 를 다시 만든 후에 start-tajo.sh 를 실행하니 정상적으로 올라왔다

tsql 도 정상 실행 되었다

tajo 실행시 mysql catalog create 문은

https://github.com/apache/tajo/blob/master/tajo-catalog/tajo-catalog-server/src/main/resources/schemas/mysql/mysql.xml

에서 확인할 수 있다

mysql 설정을 다시 utf8 로 바꾼 후 tajo 를 재시작 해도 잘 실행되었다

2015-11-01 21:05:52,224 WARN org.apache.tajo.catalog.store.XMLCatalogSchemaManager: Failed to drop database objects TABLE PARTITION_KEYS

2015-11-01 21:05:52,225 ERROR org.apache.tajo.catalog.CatalogServer: CatalogServer initialization failed

java.lang.reflect.InvocationTargetException

        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)

        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

        at java.lang.reflect.Constructor.newInstance(Constructor.java:526)

        at org.apache.tajo.catalog.CatalogServer.serviceInit(CatalogServer.java:135)

        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)

        at org.apache.tajo.master.TajoMaster.serviceInit(TajoMaster.java:213)

        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

        at org.apache.tajo.master.TajoMaster.main(TajoMaster.java:603)

Caused by: org.apache.tajo.exception.TajoInternalError: internal error: internal error: Specified key was too long; max key length is 1000 bytes

        at org.apache.tajo.catalog.store.AbstractDBStore.<init>(AbstractDBStore.java:190)

        at org.apache.tajo.catalog.store.MySQLStore.<init>(MySQLStore.java:34)

        ... 10 more

http://www.kbdmania.net/xe/freeboard/8798236