왕초보 프로그래머 Sky

http://jnylove.tistory.com/335

ssh 접속이 느려서 이것저것 테스트를 해봤는데

아이피를 입력하면 접속이 빠른데 hostname 을 입력하면 접속이 느렸다

그래서 /etc/ssh/ssh_config 파일에 AddressFamily inet 를 추가해줬다

기본은 AddressFamily any 가 주석처리 돼있다

http://jeromejaglale.com/doc/mac/fix_ssh_connection_delays

위 글에서 2015년 12월 29일 댓글 참고.

CentOS 6.7 에서 SVN Repository 를 구축하고 http 로 접속한다.

<PROJECT>, <USERNAME>, <PASSWORD> 는 각자에 맞게 설정한다

# root 로 작업

# 1.7 로 할 경우만 설치

wget http://opensource.wandisco.com/rhel/6/svn-1.7/RPMS/x86_64/mod_dav_svn-1.7.22-1.x86_64.rpm

wget http://opensource.wandisco.com/rhel/6/svn-1.7/RPMS/x86_64/subversion-1.7.22-1.x86_64.rpm

wget http://opensource.wandisco.com/rhel/6/svn-1.7/RPMS/x86_64/subversion-tools-1.7.22-1.x86_64.rpm

# 1.6 으로 할 경우

yum install subversion mod_dav_svn

mkdir -p /var/www/svn/repos

cd /var/www/svn/repos

svnadmin create --fs-type fsfs <PROJECT>

vim /etc/httpd/conf.d/subversion.conf

# WANdisco Subversion Configuration

# For more information on HTTPD configuration options for Subversion please see:

# http://svnbook.red-bean.com/nightly/en/svn.serverconfig.httpd.html

# Please remember that when using webdav HTTPD needs read and write access your repositories.

# Needed to do Subversion Apache server.

LoadModule dav_svn_module modules/mod_dav_svn.so

# Only needed if you decide to do "per-directory" access control.

LoadModule authz_svn_module modules/mod_authz_svn.so

# 2016-08-07 hskimsky add

SVNAdvertiseV2Protocol Off

<Location /svn/repos>

  DAV svn

  # SVNPath /opt/repo/

  SVNParentPath /var/www/svn/repos

  ### /svn 로 access 할 경우 Repository 를 List 를 보여주려면 on 으로 설정한다.

  SVNListParentPath on

  AuthType Basic

  AuthName "SVN Repo"

  AuthUserFile /var/www/svn/conf/svn.passwd

  Require valid-user

  ## Path-Based Authorization 를 사용할 경우 설정한다.

  AuthzSVNAccessFile /var/www/svn/conf/svn-access-file

</Location>

mkdir -p /var/www/svn/conf

touch /var/www/svn/conf/svn.passwd

htpasswd -b /var/www/svn/conf/svn.passwd <USERNAME> <PASSWORD>

vim /var/www/svn/conf/svn-access-file

[<PROJECT>:/]

* = r

@admin = rw

@<PROJECT>-developers = rw

[groups]

<PROJECT>-developers = hskimsky

admin = hskimsky

chown -R apache:apache /var/www/svn

아래 URL 접속하고 위에서 입력한 USERNAME, PASSWORD 입력하고 보이면 성공!

http://<SERVER>/svn/repos/<PROJECT>

참고

http://zetawiki.com/wiki/CentOS_%EC%84%9C%EB%B8%8C%EB%B2%84%EC%A0%84_%EC%84%9C%EB%B2%84_%EC%84%A4%EC%B9%98_%EB%B0%8F_%EC%84%A4%EC%A0%95_(svn)#cite_ref-2

HelloJNI.c 작성

#include <jni.h> #include <stdio.h> #include "HelloJNI.h" JNIEXPORT void JNICALL Java_HelloJNI_helloJNI(JNIEnv *env, jobject obj) { printf( "Hello JNI!\n" ); return; } JNIEXPORT void JNICALL Java_HelloJNI_printString(JNIEnv *env, jobject obj, jstring string) { const char *str = (*env)->GetStringUTFChars(env,string,0); printf("str = %s\n", str); return; }

아래 명령어 실행

결과

Apache HAWQ 2.0.0 을 resource manager 를 yarn 으로 설치 후 pgadmin 으로 연결하려고 하자

pg_resqueue table 이 없어서 연결이 안되고

hawq yarn application 이 재시작 되었다.

그래서 Pivotal HAWQ 2.0.0 을 설치하기로 하고 그 전에 HDP 를 설치했다.

http://hskimsky.tistory.com/111

그리고나서 pgadmin 으로 HAWQ 에 연결하려고 하자 여전히 yarn 에서 hawq 가 재시작됐다.

왜 이러는지 문서를 더 찾아보든가 committer 에게 문의하든가 해야겠다

http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/bk_Installing_HDP_AMB/content/index.html

위 url 을 따라가면서 설치 진행했다

CentOS 6.7

jdk 1.7.0_80

HDP 2.4.2.0 with Ambari 2.2.2.0 (Pivotal HAWQ 2.0.0 포함 전체)

리눅스 서버 4대로 구성해봤다

1번 서버에 Ambari Server, NameNode, HAWQ Master, 그 외 각종 Master

2번 서버에 Secondary NameNode, Resource Manager, HAWQ Standby Master, 그 외 각종 Master

3,4번 서버에 DataNode, Node Manager, HAWQ segment, HBase Region Server

PHD 3.0.1.0-1 과 거의 비슷했다

다만 HDP 설치 도중 /usr/hdp/current/xxx-client/conf 디렉토리가 없다고 오류가 날 경우가 있었는데

그냥 수동으로 만들어주고 다시 Retry 를 해서 설치했다

직접 작성한 문서입니다

Apache Hadoop 2.7.2 버전 위에 HAWQ 2.0 dev 버전을 resource manager 를 yarn 으로 설치하고 HAWQ 에서 hdfs 와 web 의 파일을 읽어서 external table 을 만드는 것을 목표로 합니다.

Apache HAWQ 를 build, install 하는 순서와 명령어를 아주 자세하게 적어놓았습니다.

hadoop install 방법은 포함하지 않았고 pxf install 을 포함하고 있습니다.

먼저 챕터별 전체 실행 스크립트를 적어놓았고 그 뒤에 부분별 실행 스크립트를 적어놓았고 그 다음에 실행 한 결과 로그를 적어놓았습니다.

문서는 asciidoc 으로 작성하였으며 repository 내에 asciidoc 파일 및 pdf 파일도 포함되어 있습니다.

잘못된 점이 있으면 hskimsky@gmail.com 으로 메일 주시기 바랍니다.

빌드 성공을 기원합니다.

https://github.com/HaNeul-Kim/apache-hawq-build

CentOS 6.7

Oracle JDK 1.7.0_80

Apache Maven 3.3.9

Python 2.6.6

Apache Hadoop 2.7.2

Apache HAWQ 2.0.0.0 dev

PXF 3.0.0

위 사양으로 설치 완료

Apache HAWQ build 만 6개월정도 삽질 한 듯..

문서에서는 gcc 버전을 4.7.2 이상 쓰라는데

centos 6.7에서 gcc 버전 4.7.2 로 올리면 yum 이 안됨

(나는 그냥 default 인 4.4.7 로 했음)

kernal 옵션 설정시 본인의 사양과 잘 비교하면서 할 것. 부팅이 불가할 수도 있음

semaphore 설정은 필수임

PXF 설치도 자잘하게 해줘야 할 것들이 많음

PXF 는 51200 port 로 실행하고 external table location 의 port 도 51200 으로 사용함

지금은 single node 로 구성했는데

조만간 vm 4개정도로 HAWQ HA 구성까지 하면서 메뉴얼 작성 해봐야겠다