왕초보 프로그래머 Sky

CentOS 6.7 에서 SVN Repository 를 구축하고 http 로 접속한다.

<PROJECT>, <USERNAME>, <PASSWORD> 는 각자에 맞게 설정한다

# root 로 작업

# 1.7 로 할 경우만 설치

wget http://opensource.wandisco.com/rhel/6/svn-1.7/RPMS/x86_64/mod_dav_svn-1.7.22-1.x86_64.rpm

wget http://opensource.wandisco.com/rhel/6/svn-1.7/RPMS/x86_64/subversion-1.7.22-1.x86_64.rpm

wget http://opensource.wandisco.com/rhel/6/svn-1.7/RPMS/x86_64/subversion-tools-1.7.22-1.x86_64.rpm

# 1.6 으로 할 경우

yum install subversion mod_dav_svn

mkdir -p /var/www/svn/repos

cd /var/www/svn/repos

svnadmin create --fs-type fsfs <PROJECT>

vim /etc/httpd/conf.d/subversion.conf

# WANdisco Subversion Configuration

# For more information on HTTPD configuration options for Subversion please see:

# http://svnbook.red-bean.com/nightly/en/svn.serverconfig.httpd.html

# Please remember that when using webdav HTTPD needs read and write access your repositories.

# Needed to do Subversion Apache server.

LoadModule dav_svn_module modules/mod_dav_svn.so

# Only needed if you decide to do "per-directory" access control.

LoadModule authz_svn_module modules/mod_authz_svn.so

# 2016-08-07 hskimsky add

SVNAdvertiseV2Protocol Off

<Location /svn/repos>

  DAV svn

  # SVNPath /opt/repo/

  SVNParentPath /var/www/svn/repos

  ### /svn 로 access 할 경우 Repository 를 List 를 보여주려면 on 으로 설정한다.

  SVNListParentPath on

  AuthType Basic

  AuthName "SVN Repo"

  AuthUserFile /var/www/svn/conf/svn.passwd

  Require valid-user

  ## Path-Based Authorization 를 사용할 경우 설정한다.

  AuthzSVNAccessFile /var/www/svn/conf/svn-access-file

</Location>

mkdir -p /var/www/svn/conf

touch /var/www/svn/conf/svn.passwd

htpasswd -b /var/www/svn/conf/svn.passwd <USERNAME> <PASSWORD>

vim /var/www/svn/conf/svn-access-file

[<PROJECT>:/]

* = r

@admin = rw

@<PROJECT>-developers = rw

[groups]

<PROJECT>-developers = hskimsky

admin = hskimsky

chown -R apache:apache /var/www/svn

아래 URL 접속하고 위에서 입력한 USERNAME, PASSWORD 입력하고 보이면 성공!

http://<SERVER>/svn/repos/<PROJECT>

참고

http://zetawiki.com/wiki/CentOS_%EC%84%9C%EB%B8%8C%EB%B2%84%EC%A0%84_%EC%84%9C%EB%B2%84_%EC%84%A4%EC%B9%98_%EB%B0%8F_%EC%84%A4%EC%A0%95_(svn)#cite_ref-2

http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/bk_Installing_HDP_AMB/content/index.html

위 url 을 따라가면서 설치 진행했다

CentOS 6.7

jdk 1.7.0_80

HDP 2.4.2.0 with Ambari 2.2.2.0 (Pivotal HAWQ 2.0.0 포함 전체)

리눅스 서버 4대로 구성해봤다

1번 서버에 Ambari Server, NameNode, HAWQ Master, 그 외 각종 Master

2번 서버에 Secondary NameNode, Resource Manager, HAWQ Standby Master, 그 외 각종 Master

3,4번 서버에 DataNode, Node Manager, HAWQ segment, HBase Region Server

PHD 3.0.1.0-1 과 거의 비슷했다

다만 HDP 설치 도중 /usr/hdp/current/xxx-client/conf 디렉토리가 없다고 오류가 날 경우가 있었는데

그냥 수동으로 만들어주고 다시 Retry 를 해서 설치했다

직접 작성한 문서입니다

Apache Hadoop 2.7.2 버전 위에 HAWQ 2.0 dev 버전을 resource manager 를 yarn 으로 설치하고 HAWQ 에서 hdfs 와 web 의 파일을 읽어서 external table 을 만드는 것을 목표로 합니다.

Apache HAWQ 를 build, install 하는 순서와 명령어를 아주 자세하게 적어놓았습니다.

hadoop install 방법은 포함하지 않았고 pxf install 을 포함하고 있습니다.

먼저 챕터별 전체 실행 스크립트를 적어놓았고 그 뒤에 부분별 실행 스크립트를 적어놓았고 그 다음에 실행 한 결과 로그를 적어놓았습니다.

문서는 asciidoc 으로 작성하였으며 repository 내에 asciidoc 파일 및 pdf 파일도 포함되어 있습니다.

잘못된 점이 있으면 hskimsky@gmail.com 으로 메일 주시기 바랍니다.

빌드 성공을 기원합니다.

https://github.com/HaNeul-Kim/apache-hawq-build

CentOS 6.7

Oracle JDK 1.7.0_80

Apache Maven 3.3.9

Python 2.6.6

Apache Hadoop 2.7.2

Apache HAWQ 2.0.0.0 dev

PXF 3.0.0

위 사양으로 설치 완료

Apache HAWQ build 만 6개월정도 삽질 한 듯..

문서에서는 gcc 버전을 4.7.2 이상 쓰라는데

centos 6.7에서 gcc 버전 4.7.2 로 올리면 yum 이 안됨

(나는 그냥 default 인 4.4.7 로 했음)

kernal 옵션 설정시 본인의 사양과 잘 비교하면서 할 것. 부팅이 불가할 수도 있음

semaphore 설정은 필수임

PXF 설치도 자잘하게 해줘야 할 것들이 많음

PXF 는 51200 port 로 실행하고 external table location 의 port 도 51200 으로 사용함

지금은 single node 로 구성했는데

조만간 vm 4개정도로 HAWQ HA 구성까지 하면서 메뉴얼 작성 해봐야겠다

오늘의 목표는 TeamCity 를 대충 설치해보기

작업환경

rhel 6.6 64bit

oracle jdk 1.7.0_79 (JAVA_HOME 세팅됨)

mysql 5.1.73 (UTF-8 세팅됨)

TeamCity 9.1.4

아래 링크에서 TeamCity 9.1.4 linux 버전을 다운 받고 압축해제한다

https://www.jetbrains.com/teamcity/download/#tabs_1=linux-version

TeamCity 디렉토리로 이동 후 bin/runAll.sh start 명령어로 팀시티를 시작한다

브라우저에서 http://host:8111/ 로 접속하면 아래와 같은 화면이 뜬다

Proceed 버튼 클릭

Select the database type 을 선택 후 MySQL 을 선택

mysql jdbc 를 다운로드 후 ~/.BuildServer/lib/jdbc 디렉토리로 복사한다

그리고 Refresh JDBC drivers 버튼 선택

Database host 에 mysql 이 설치된 host 를 입력 (난 localhost 라고 입력)

Database name 입력 (난 teamcity 라고 입력)

User name 입력 (난 root 라고 입력)

Password 필요하다면 입력 (난 비밀번호 필요 없어서 입력 안함)

Proceed 버튼 클릭

teamcity 라는 database 가 없다고 하니 만들어준다

Proceed 버튼 클릭

아래와 같은 과정을 거치고 나니

아래와 같은 화면이 뜬다

Accept ... 체크박스 체크를 하고 Continue 클릭

그냥 전부 admin 이라고 입력했다

Username 입력 (난 admin 입력)

Password 입력 (난 admin 입력)

Once again 입력 (난 admin 입력)

Create Account 버튼 클릭

아래와 같이 나오면 TeamCity 대충 설치 끝!

2016-05-14 현재 PHD 지원 중단으로 다운로드가 전부 불가능함.

#########################################################

생략된 부분이 아주 많으므로

pivotal guide 를 꼭 읽어보면서 진행한다

http://pivotalhd.docs.pivotal.io/docs/install-ambari.html

rhel 6.6

jdk1.7.0_79

PHD 3.0.1.0

Ambari 1.7.1

위의 환경에서 진행하였고 HAWQ 는 설치하지 않았다

중간에 yum repository 를 dvd 로 잡아주는 과정이 있다

###################################################################

install PHD3.0.1.0 with Ambari 1.7.1

모든 서버에 ambari-server 를 설치할 서버의 ssh public key 가

~/.ssh/authorized_keys 에 등록돼 있어야 한다

자기 자신과도 키 교환을 해야 한다

모든 작업은 root 로 진행했다

############## 아래 명령어들을 모든 노드에서 실행

vi /etc/hosts

# 아이피를 적절히 넣어준다. 3번째 열 ex1.phd.local 이 부분이 중요하다

# fqdn 인데 . 으로 구분하고 맨 앞에 host 그 뒤가 도메인 네임이다

# host 는 되도록 아래 형식과 비슷하게 하는 것이 나중에 ambari 에서 host 등록이 편하다

# 뭐 크게 불편한 것도 아니지만..

123.123.123.111 ex1 ex1.phd.local

123.123.123.112 ex2 ex2.phd.local

123.123.123.113 ex3 ex3.phd.local

123.123.123.114 ex4 ex4.phd.local

123.123.123.115 ex5 ex5.phd.local

123.123.123.116 ex6 ex6.phd.local

# 시간 동기화를 해준다 돼있다면 필요없다

date

rdate -s time.bora.net

date

service iptables stop

mkdir -p /etc/sysctl.d

( cat > /etc/sysctl.d/99-hadoop-ipv6.conf <<-'EOF'

## Disabled ipv6

## Provided by Ambari Bootstrap

net.ipv6.conf.all.disable_ipv6 = 1

net.ipv6.conf.default.disable_ipv6 = 1

net.ipv6.conf.lo.disable_ipv6 = 1

EOF

    )

sysctl -e -p /etc/sysctl.d/99-hadoop-ipv6.conf

vi /etc/rc.local 

if test -f /sys/kernel/mm/redhat_transparent_hugepage/enabled; then 

   echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled; fi

if test -f /sys/kernel/mm/redhat_transparent_hugepage/defrag; then 

   echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag; fi

setenforce 0

vi /etc/selinux/config

SELINUX=disabled

vi /etc/yum/pluginconf.d/refresh-packagekit.conf

# 1 => 0

reboot

cat /sys/kernel/mm/redhat_transparent_hugepage/enabled

cat /sys/kernel/mm/redhat_transparent_hugepage/defrag 

# 둘 다 아래의 결과가 나와야 한다

    always madvise [never]

mkdir /usr/java

cd /usr/java

# jdk 를 다운받아 놨다

tar zxvf ~/Downloads/jdk-7u79-linux-x64.gz -C /usr/java/

ln -s /usr/java/jdk1.7.0_79/ /usr/java/default

# 각자 알아서 좋아하는 위치에 export 한다

vim /etc/bashrc

export JAVA_HOME=/usr/java/default

export PATH=$JAVA_HOME/bin:$PATH

source /etc/bashrc

java -version

[rhel-dvd]

name=Red Hat Enterprise Linux $releasever - $basearch - DVD

baseurl=file:///media/RHEL-6.6\ Server.x86_64/

gpgcheck=0

yum clean all

# ntpd 를 시작하지 않으면 ambari 에서 설치시 warning 이 뜬다

service ntpd start

########## ambari-server 가 설치된 서버에서만 실행

service httpd start

mkdir /staging

chmod a+rx /staging

tar zxvf ~/Downloads/AMBARI-1.7.1-88-centos6.tgz -C /staging/

/staging/AMBARI-1.7.1/setup_repo.sh

setenforce 0

curl http://ex1/AMBARI-1.7.1/repodata/repomd.xml

cd /staging

yum -y install ambari-server

# JCE 도 미리 받아놨다

cp UnlimitedJCEPolicyJDK7.zip /var/lib/ambari-server/resources/

# 아래 순서대로 입력한다

# java 는 custom java 로 하고 db 는 embedded postgresql 을 사용한다

# mysql 로 해도 되는데 mysql 로 했다가

# hive 를 ambari-server 와 같은 위치에 설치했다가 ambari 가 죽었다

ambari-server setup

n

2

/usr/java/default

n

ambari-server start

# PHD 관련된 것들을 미리 받아놨다

tar xvf PHD-UTILS-1.1.0.20-centos6.tar

tar zxvf PHD-3.0.1.0-1-centos6.tgz

PHD-UTILS-1.1.0.20/setup_repo.sh

PHD-3.0.1.0/setup_repo.sh

yum repolist

이제 터미널 작업 끝

browser 에서 http://ex1:8080 접속

admin // admin 접속

Launch Install Wizard 버튼 클릭

ex (원하는 이름) 입력 후 Next 버튼 클릭

Advanced Repository Options 클릭

redhat6 만 남기고 모두 체크 해제

http://ex1/PHD-UTILS-1.1.0.20

http://ex1/PHD-3.0.1.0

입력

ex[1-6].phd.local

입력

Provide.... 라디오버튼 클릭

ambari-server 설치된 곳의 ssh private key 선택

root

Register and Confirm 버튼 클릭

OK 클릭

실패할 경우엔 키교환이 모든 서버와 잘 돼있는지 확인한다

그래도 실패할 경우 서버마다 전부 root 로 로그인 해주고나서 Back 누르고 다시 Register and Confirm 눌러본다

Next

일단 전부 설치하고 서비스를 죽이려고 한다 Next

1번에 너무 몰아서 설치하는 느낌이 있긴 하지만 거의 대부분 서비스 종료시킬 것이다 Next

ex5, ex6 의 client 만 추가로 체크해줬다 Next

빨간불이 몇개 들어와 있을텐데 적절히 설정하여 빨간 불을 꺼준다 Next

리뷰 한번 봐 주고 프린트도 하려면 하고 Deploy!!!!!

실패할 경우 모든 서버의 yum repository 가 잘 설정 돼있는지 확인한다 Next

끝! Complete!!!!

Loading...

Dashboard 를 확인할 수 있다

http://www.joinc.co.kr/modules/moniwiki/wiki.php/Site/Tip/Rsync

그리고 한참(나는 약 1시간 걸렸다) 지나면 빌드가 끝나고

spark-1.5.0-bin-custom-spark.tgz 파일이 생성된다.

파일을 일단 다른 곳에 복사해둔 뒤

소스와 같은 위치에 압축을 풀어준다

그리고 SPARK_HOME 과 PATH 를 등록해준다

그리고나서 아래 설정사항들을 입력한다

설치 환경

OSX 10.10 에서 parallels 8 로 CentOS 6.6 을 띄워서 작업

Oracle java 1.7.0_79

fl1 이라는 서버에 zookeeper server 를 3개 띄울 것이다

간혹 # 뒤에 문자열이 더 있는 건 2번 또는 3번에서 그렇게 설정한다

zookeeper.log.dir=/var/lib/zookeeper/1/logs # /var/lib/zookeeper/2/logs /var/lib/zookeeper/3/logs

ZOO_LOG_DIR="/var/lib/zookeeper/1/logs” # /var/lib/zookeeper/2/logs /var/lib/zookeeper/3/logs

# zookeeper 복사 sudo cp -R zookeeper-3.4.6_1/ zookeeper-3.4.6_2 sudo cp -R zookeeper-3.4.6_1/ zookeeper-3.4.6_3 sudo chown -R hskimsky:hskimsky zookeeper-3.4.6_* # 2, 3 설정 cd zookeeper-3.4.6_2 vi conf/zoo.cfg # dataDir, dataLogDir, clientPort vi conf/log4j.properties vi bin/zkEnv.sh cd ../zookeeper-3.4.6_3 vi conf/zoo.cfg vi conf/log4j.properties vi bin/zkEnv.sh # zookeeper Server start zookeeper-3.4.6_1/bin/zkServer.sh start zookeeper-3.4.6_2/bin/zkServer.sh start zookeeper-3.4.6_3/bin/zkServer.sh start zookeeper-3.4.6_1/bin/zkCli.sh -server fl1:2181,fl1:2182,fl1:2183

zookeeper cli 에 접속되면 아래를 입력하여 제대로 나오는지 확인한다

create /test test Created /test ls / [test, zookeeper] get /test test ...

yum install http://yum.postgresql.org/9.4/redhat/rhel-6-x86_64/pgdg-redhat94-9.4-1.noarch.rpm

yum install postgresql94-server postgresql94-contrib postgis2_94

service postgresql-9.4 initdb

chkconfig postgresql-9.4 on

su - postgres

createuser --createdb --login --createrole --superuser --username=postgres cloudine

createdb --encoding=UTF8 --echo cloudine

createdb postgis

psql postgis

아래 쿼리를 입력해보면 installed_version 이 비어있는데

select * from pg_available_extensions order by name

아래 쿼리들을 입력하고나면 installed_version 이 채워질 것이다

CREATE EXTENSION postgis;

CREATE EXTENSION postgis_topology;

CREATE EXTENSION fuzzystrmatch;

CREATE EXTENSION postgis_tiger_geocoder;

업그레이드를 위해서는 아래 쿼리를 입력한다

ALTER EXTENSION postgis UPDATE TO "2.1.8";

ALTER EXTENSION postgis_topology UPDATE TO "2.1.8";

ALTER EXTENSION postgis_tiger_geocoder UPDATE TO "2.1.8";

아래 쿼리를 입력하면 postgis 버전을 확인할 수 있다

SELECT PostGIS_full_version();