반응형

처음 목표는 phd 에 tajo 설치였으나 아직 phd 는 지원하지 않는건지 실패하고나서


apache hadoop 에 tajo 를 설치하였다


os 는 rhel 6.6

hadoop 은 apache hadoop 2.6.0

노드 2개로 하둡 클러스터를 구성하였다

1번에 Namenode, HistoryServer, Datanode

2번에 ResourceManager, Datanode

tajo 는 0.11.0


TajoMaster 는 1번

TajoWorker 는 1번, 2번

Catalog 는 mysql 로 할 계획이다


설치 후 start-tajo.sh 를 실행하였는데 실행이 잘 되는듯 보였으나


1번에 TajoMaster 가 올라오지 않았다


로그를 보니(아래 로그 참조) PARTITION_KEYS table 생성시 key was too long 이란다


mysql character set 이 utf8 이어서 그랬다


그래서 임시로 다시 latin 으로 변경(utf8 설정을 주석) 후 mysqld 재시작 하고


tajo database 를 다시 만든 후에 start-tajo.sh 를 실행하니 정상적으로 올라왔다


tsql 도 정상 실행 되었다


tajo 실행시 mysql catalog create 문은

https://github.com/apache/tajo/blob/master/tajo-catalog/tajo-catalog-server/src/main/resources/schemas/mysql/mysql.xml

에서 확인할 수 있다


mysql 설정을 다시 utf8 로 바꾼 후 tajo 를 재시작 해도 잘 실행되었다






2015-11-01 21:05:52,224 WARN org.apache.tajo.catalog.store.XMLCatalogSchemaManager: Failed to drop database objects TABLE PARTITION_KEYS

2015-11-01 21:05:52,225 ERROR org.apache.tajo.catalog.CatalogServer: CatalogServer initialization failed

java.lang.reflect.InvocationTargetException

        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)

        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

        at java.lang.reflect.Constructor.newInstance(Constructor.java:526)

        at org.apache.tajo.catalog.CatalogServer.serviceInit(CatalogServer.java:135)

        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)

        at org.apache.tajo.master.TajoMaster.serviceInit(TajoMaster.java:213)

        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

        at org.apache.tajo.master.TajoMaster.main(TajoMaster.java:603)

Caused by: org.apache.tajo.exception.TajoInternalError: internal error: internal error: Specified key was too long; max key length is 1000 bytes

        at org.apache.tajo.catalog.store.AbstractDBStore.<init>(AbstractDBStore.java:190)

        at org.apache.tajo.catalog.store.MySQLStore.<init>(MySQLStore.java:34)

        ... 10 more



반응형

'[BigData] > [Apache TAJO]' 카테고리의 다른 글

apache tajo 설치  (0) 2015.07.02
Posted by FeliZ_하늘..
,
반응형

내 환경은


CentOS 6.6

Oracle Java 1.7.0_79

Apache Hadoop 2.6.0

Apache Hive 1.2.1

Mysql 5.1.73


일단 hive binary 파일을 다운받고 압축풀고 HIVE_HOME, PATH 설정을 해준다


그리고 mysql jdbc driver 를 받아서 압축풀고 jar 파일을 hive/lib 아래로 옮긴다



그리고 $HIVE_HOME/conf 에 가보면


hive-default.xml.template 파일이 있다


복사하면서 파일명을 hive-site.xml 로 바꾼다


아니면 hivemetastore-site.xml 과 hiveserver2-site.xml 로 나눠도 된다


알맞게 설정 후 hive 명령어로 cli 를 실행하든 뭘 하든 하면 된다


hive-site.xml 이어야 반영된다는걸 몰라서 좀 헤맸다


참고 https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin


-------------------------------------------------------------------------------


hivemetastore-site.xml



-------------------------------------------------------------------------------


hiveserver2-site.xml



-------------------------------------------------------------------------------


hive-site.xml



반응형
Posted by FeliZ_하늘..
,
반응형

mysqldump 를 떴는데 --skip-opt 때문에 pk 의 auto_increment 옵션이 빠지는 문제가 발생했다


일단은


ALTER TABLE table_name MODIFY column_name column_type NOT NULL AUTO_INCREMENT;


를 입력해서 해결


나중엔 --skip-opt 를 넣지 말고 dump 를 떠야겠다

반응형

'[DB] > [MySQL]' 카테고리의 다른 글

mysql dump  (0) 2015.08.10
mysql left, right 함수  (0) 2015.02.02
mysql union 사용하기  (0) 2015.01.09
mysql instr() 사용  (0) 2015.01.09
mysql substring_index() 사용  (0) 2015.01.09
Posted by FeliZ_하늘..
,

mysql dump

[DB]/[MySQL] 2015. 8. 10. 12:09
반응형

--skip-opt 넣으면 auto_increment 가 빠짐


mysqldump -uroot -p -d -q db_name > schema.sql


mysqldump -uroot -p --no-create-info db_name > data.sql


mysql -uroot < schema.sql


mysql -uroot < data.sql

반응형

'[DB] > [MySQL]' 카테고리의 다른 글

mysql Field doesn't have a default value  (0) 2015.08.10
mysql left, right 함수  (0) 2015.02.02
mysql union 사용하기  (0) 2015.01.09
mysql instr() 사용  (0) 2015.01.09
mysql substring_index() 사용  (0) 2015.01.09
Posted by FeliZ_하늘..
,
반응형

http://daemonjin.tistory.com/entry/CentOS-%EB%A6%AC%EB%88%85%EC%8A%A4-mysql-%EB%8D%B0%EB%AA%AC-%EC%9E%90%EB%8F%99-%EC%8B%A4%ED%96%89-%EB%AA%85%EB%A0%B9%EC%96%B4

반응형

'[Linux]' 카테고리의 다른 글

rsync 사용해보기  (0) 2015.09.25
vi 명령어  (0) 2015.08.04
.profile .bash_profile .bashrc 차이  (0) 2015.07.08
리눅스 dns 설정  (0) 2015.07.03
쉘 프롬프트 변경  (1) 2015.06.02
Posted by FeliZ_하늘..
,
반응형

일단 목표는 타조 설치 후 mysql 로 metadata 를 저장하는 것이다


tajo 를 설치하기 위해서는 protocol buffer 2.5.0 이 필요하다고 한다.


저번에 이미 protocol buffer 2.5 는 설치했다


내 환경은


iMac 이고 os 는 10.10 Yosemite 에서 Parallels 8 로 ubuntu 12.04 를 띄워서 테스트 했다


ubuntu 12.04

apache hadoop 2.6.0

mysql 5.5.43

oracle java 1.7.0_80

apache maven 3.3.3

protocol buffer 2.5.0


싱글 노드로 테스트 할것이다


일단 git 에서 tajo 를 받는다


현재는 0.11.0 이 받아진다


페이스북 한국 타조 유저 그룹을 보니 0.11.0 에 row 단위 insert 기능이 추가 될 예정이라고 한다


tajo 는 대용량 데이터 저장 용도로 설계됐기 때문에 되지 않았다고 한다


테스트 결과 0.11.0 이지만 아직 구현은 안된것 같다 syntax error 가 난다.


$ git clone https://github.com/apache/tajo.git

$ cd tajo

$ mvn clean install -DskipTests -Pdist -Dtar -Dhadoop.version=2.6.0

$ cd tajo-dist/target/tajo-0.11.0-SNAPSHOT/conf

$ cp catalog-site.xml.template catalog-site.xml

$ cp tajo-site.xml.template tajo-site.xml

$ vi catalog-site.xml


tajo.catalog.jdbc.connection.id

tajo.catalog.jdbc.connection.password

tajo.catalog.store.class

  <value>org.apache.tajo.catalog.store.MySQLStore</value>

tajo.catalog.jdbc.uri


4개 속성의 주석을 제거하고 각자 환경에 맞게 수정한다.(tajo.catalog.store.class 속성의 value 는 그대로 둔다)


$ vi tajo-site.xml


tajo.rootdir 속성을 각자 환경에 맞게 수정한다.


나는 hdfs://localhost:54310 으로 수정했다


$ vi tajo-env.sh


HADOOP_HOME

JAVA_HOME

TAJO_CLASSPATH


3가지 속성을 수정한다.(TAJO_CLASSPATH 는 mysql jdbc jar 파일의 절대경로를 적어준다)


$ vi ~/.bashrc


맨 아래에 아래를 추가해준다


export TAJO_HOME=[설치한 tajo 경로]/tajo-dist/target/tajo-0.11.0-SNAPSHOT

export PATH=$PATH:$TAJO_HOME/bin


$ source ~/.bashrc

$ cd $TAJO_HOME/bin

$ ./start-tajo.sh

$ ./tsql


default>


default> 가 뜨면 성공!


그러면 hdfs 상에 /system, /tmp, /warehouse 가 생기고


mysql 에 tajo 라는 database 가 생길 것이다

반응형

'[BigData] > [Apache TAJO]' 카테고리의 다른 글

처음 실행시 TajoMaster 가 죽는 경우  (0) 2015.11.01
Posted by FeliZ_하늘..
,
반응형

http://blurblah.net/877

반응형

'[DB] > [PostgreSQL]' 카테고리의 다른 글

postgresql 8.2 text to boolean  (0) 2016.07.09
postgresql 9.4, postgis 설치하기  (0) 2015.08.06
postgresql 에서 테이블 정보 추출하기  (0) 2015.03.03
pgadmin 설치  (0) 2015.02.23
postgresql first steps  (0) 2015.02.23
Posted by FeliZ_하늘..
,
반응형

http://www.spatium.co.kr/languages/content.php?chno=5&bno=28

반응형

'[DB] > [MySQL]' 카테고리의 다른 글

mysql Field doesn't have a default value  (0) 2015.08.10
mysql dump  (0) 2015.08.10
mysql union 사용하기  (0) 2015.01.09
mysql instr() 사용  (0) 2015.01.09
mysql substring_index() 사용  (0) 2015.01.09
Posted by FeliZ_하늘..
,
반응형

http://warmz.tistory.com/278

반응형

'[DB] > [MySQL]' 카테고리의 다른 글

mysql dump  (0) 2015.08.10
mysql left, right 함수  (0) 2015.02.02
mysql instr() 사용  (0) 2015.01.09
mysql substring_index() 사용  (0) 2015.01.09
MySQL INT data type 비교  (0) 2015.01.08
Posted by FeliZ_하늘..
,
반응형

http://dev.mysql.com/doc/refman/5.0/en/string-functions.html#function_instr


instr(string, substring)

string 에서 substring 의 시작위치를 알려준다

시작 index 는 1 부터 시작한다

반응형

'[DB] > [MySQL]' 카테고리의 다른 글

mysql dump  (0) 2015.08.10
mysql left, right 함수  (0) 2015.02.02
mysql union 사용하기  (0) 2015.01.09
mysql substring_index() 사용  (0) 2015.01.09
MySQL INT data type 비교  (0) 2015.01.08
Posted by FeliZ_하늘..
,