반응형

처음 목표는 phd 에 tajo 설치였으나 아직 phd 는 지원하지 않는건지 실패하고나서


apache hadoop 에 tajo 를 설치하였다


os 는 rhel 6.6

hadoop 은 apache hadoop 2.6.0

노드 2개로 하둡 클러스터를 구성하였다

1번에 Namenode, HistoryServer, Datanode

2번에 ResourceManager, Datanode

tajo 는 0.11.0


TajoMaster 는 1번

TajoWorker 는 1번, 2번

Catalog 는 mysql 로 할 계획이다


설치 후 start-tajo.sh 를 실행하였는데 실행이 잘 되는듯 보였으나


1번에 TajoMaster 가 올라오지 않았다


로그를 보니(아래 로그 참조) PARTITION_KEYS table 생성시 key was too long 이란다


mysql character set 이 utf8 이어서 그랬다


그래서 임시로 다시 latin 으로 변경(utf8 설정을 주석) 후 mysqld 재시작 하고


tajo database 를 다시 만든 후에 start-tajo.sh 를 실행하니 정상적으로 올라왔다


tsql 도 정상 실행 되었다


tajo 실행시 mysql catalog create 문은

https://github.com/apache/tajo/blob/master/tajo-catalog/tajo-catalog-server/src/main/resources/schemas/mysql/mysql.xml

에서 확인할 수 있다


mysql 설정을 다시 utf8 로 바꾼 후 tajo 를 재시작 해도 잘 실행되었다






2015-11-01 21:05:52,224 WARN org.apache.tajo.catalog.store.XMLCatalogSchemaManager: Failed to drop database objects TABLE PARTITION_KEYS

2015-11-01 21:05:52,225 ERROR org.apache.tajo.catalog.CatalogServer: CatalogServer initialization failed

java.lang.reflect.InvocationTargetException

        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)

        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

        at java.lang.reflect.Constructor.newInstance(Constructor.java:526)

        at org.apache.tajo.catalog.CatalogServer.serviceInit(CatalogServer.java:135)

        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)

        at org.apache.tajo.master.TajoMaster.serviceInit(TajoMaster.java:213)

        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

        at org.apache.tajo.master.TajoMaster.main(TajoMaster.java:603)

Caused by: org.apache.tajo.exception.TajoInternalError: internal error: internal error: Specified key was too long; max key length is 1000 bytes

        at org.apache.tajo.catalog.store.AbstractDBStore.<init>(AbstractDBStore.java:190)

        at org.apache.tajo.catalog.store.MySQLStore.<init>(MySQLStore.java:34)

        ... 10 more



반응형

'[BigData] > [Apache TAJO]' 카테고리의 다른 글

apache tajo 설치  (0) 2015.07.02
Posted by FeliZ_하늘..
,