CentOS 6.7 에서 SVN Repository 를 구축하고 http 로 접속한다.

<PROJECT>, <USERNAME>, <PASSWORD> 는 각자에 맞게 설정한다


# root 로 작업


# 1.7 로 할 경우만 설치

wget http://opensource.wandisco.com/rhel/6/svn-1.7/RPMS/x86_64/mod_dav_svn-1.7.22-1.x86_64.rpm

wget http://opensource.wandisco.com/rhel/6/svn-1.7/RPMS/x86_64/subversion-1.7.22-1.x86_64.rpm

wget http://opensource.wandisco.com/rhel/6/svn-1.7/RPMS/x86_64/subversion-tools-1.7.22-1.x86_64.rpm


# 1.6 으로 할 경우

yum install subversion mod_dav_svn


mkdir -p /var/www/svn/repos

cd /var/www/svn/repos

svnadmin create --fs-type fsfs <PROJECT>


vim /etc/httpd/conf.d/subversion.conf

# WANdisco Subversion Configuration

# For more information on HTTPD configuration options for Subversion please see:

# http://svnbook.red-bean.com/nightly/en/svn.serverconfig.httpd.html

# Please remember that when using webdav HTTPD needs read and write access your repositories.


# Needed to do Subversion Apache server.

LoadModule dav_svn_module modules/mod_dav_svn.so

# Only needed if you decide to do "per-directory" access control.

LoadModule authz_svn_module modules/mod_authz_svn.so

# 2016-08-07 hskimsky add

SVNAdvertiseV2Protocol Off


<Location /svn/repos>

  DAV svn

  # SVNPath /opt/repo/

  SVNParentPath /var/www/svn/repos

  ### /svn 로 access 할 경우 Repository 를 List 를 보여주려면 on 으로 설정한다.

  SVNListParentPath on

  AuthType Basic

  AuthName "SVN Repo"

  AuthUserFile /var/www/svn/conf/svn.passwd

  Require valid-user

  ## Path-Based Authorization 를 사용할 경우 설정한다.

  AuthzSVNAccessFile /var/www/svn/conf/svn-access-file

</Location>


mkdir -p /var/www/svn/conf


touch /var/www/svn/conf/svn.passwd

htpasswd -b /var/www/svn/conf/svn.passwd <USERNAME> <PASSWORD>


vim /var/www/svn/conf/svn-access-file

[<PROJECT>:/]

* = r

@admin = rw

@<PROJECT>-developers = rw


[groups]

<PROJECT>-developers = hskimsky

admin = hskimsky


chown -R apache:apache /var/www/svn


아래 URL 접속하고 위에서 입력한 USERNAME, PASSWORD 입력하고 보이면 성공!

http://<SERVER>/svn/repos/<PROJECT>



참고

http://zetawiki.com/wiki/CentOS_%EC%84%9C%EB%B8%8C%EB%B2%84%EC%A0%84_%EC%84%9C%EB%B2%84_%EC%84%A4%EC%B9%98_%EB%B0%8F_%EC%84%A4%EC%A0%95_(svn)#cite_ref-2

Posted by FeliZ_하늘..

댓글을 달아 주세요

http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/bk_Installing_HDP_AMB/content/index.html


위 url 을 따라가면서 설치 진행했다


CentOS 6.7

jdk 1.7.0_80

HDP 2.4.2.0 with Ambari 2.2.2.0 (Pivotal HAWQ 2.0.0 포함 전체)


리눅스 서버 4대로 구성해봤다


1번 서버에 Ambari Server, NameNode, HAWQ Master, 그 외 각종 Master


2번 서버에 Secondary NameNode, Resource Manager, HAWQ Standby Master, 그 외 각종 Master


3,4번 서버에 DataNode, Node Manager, HAWQ segment, HBase Region Server


PHD 3.0.1.0-1 과 거의 비슷했다


다만 HDP 설치 도중 /usr/hdp/current/xxx-client/conf 디렉토리가 없다고 오류가 날 경우가 있었는데


그냥 수동으로 만들어주고 다시 Retry 를 해서 설치했다

'[BigData] > [HDP]' 카테고리의 다른 글

HAWQ 2.1.1.0 에서 pljava 활성화  (0) 2017.04.08
HDP 2.4.2 install with Ambari 2.2.2.0  (0) 2016.06.18
Posted by FeliZ_하늘..

댓글을 달아 주세요

직접 작성한 문서입니다


Apache Hadoop 2.7.2 버전 위에 HAWQ 2.0 dev 버전을 resource manager 를 yarn 으로 설치하고 HAWQ 에서 hdfs 와 web 의 파일을 읽어서 external table 을 만드는 것을 목표로 합니다.

Apache HAWQ 를 build, install 하는 순서와 명령어를 아주 자세하게 적어놓았습니다.

hadoop install 방법은 포함하지 않았고 pxf install 을 포함하고 있습니다.

먼저 챕터별 전체 실행 스크립트를 적어놓았고 그 뒤에 부분별 실행 스크립트를 적어놓았고 그 다음에 실행 한 결과 로그를 적어놓았습니다.

문서는 asciidoc 으로 작성하였으며 repository 내에 asciidoc 파일 및 pdf 파일도 포함되어 있습니다.

잘못된 점이 있으면 hskimsky@gmail.com 으로 메일 주시기 바랍니다.

빌드 성공을 기원합니다.


https://github.com/HaNeul-Kim/apache-hawq-build

Posted by FeliZ_하늘..

댓글을 달아 주세요

CentOS 6.7

Oracle JDK 1.7.0_80

Apache Maven 3.3.9

Python 2.6.6

Apache Hadoop 2.7.2

Apache HAWQ 2.0.0.0 dev

PXF 3.0.0


위 사양으로 설치 완료

Apache HAWQ build 만 6개월정도 삽질 한 듯..

문서에서는 gcc 버전을 4.7.2 이상 쓰라는데

centos 6.7에서 gcc 버전 4.7.2 로 올리면 yum 이 안됨

(나는 그냥 default 인 4.4.7 로 했음)

kernal 옵션 설정시 본인의 사양과 잘 비교하면서 할 것. 부팅이 불가할 수도 있음

semaphore 설정은 필수임

PXF 설치도 자잘하게 해줘야 할 것들이 많음

PXF 는 51200 port 로 실행하고 external table location 의 port 도 51200 으로 사용함


지금은 single node 로 구성했는데

조만간 vm 4개정도로 HAWQ HA 구성까지 하면서 메뉴얼 작성 해봐야겠다


Posted by FeliZ_하늘..

댓글을 달아 주세요

TeamCity 9 설치 install

[Web] 2015.12.19 13:08

오늘의 목표는 TeamCity 를 대충 설치해보기


작업환경

rhel 6.6 64bit

oracle jdk 1.7.0_79 (JAVA_HOME 세팅됨)

mysql 5.1.73 (UTF-8 세팅됨)

TeamCity 9.1.4


아래 링크에서 TeamCity 9.1.4 linux 버전을 다운 받고 압축해제한다


https://www.jetbrains.com/teamcity/download/#tabs_1=linux-version



TeamCity 디렉토리로 이동 후 bin/runAll.sh start 명령어로 팀시티를 시작한다



브라우저에서 https://host:8111/ 로 접속하면 아래와 같은 화면이 뜬다


Proceed 버튼 클릭



Select the database type 을 선택 후 MySQL 을 선택



mysql jdbc 를 다운로드 후 ~/.BuildServer/lib/jdbc 디렉토리로 복사한다



그리고 Refresh JDBC drivers 버튼 선택



Database host 에 mysql 이 설치된 host 를 입력 (난 localhost 라고 입력)

Database name 입력 (난 teamcity 라고 입력)

User name 입력 (난 root 라고 입력)

Password 필요하다면 입력 (난 비밀번호 필요 없어서 입력 안함)


Proceed 버튼 클릭



teamcity 라는 database 가 없다고 하니 만들어준다



Proceed 버튼 클릭



아래와 같은 과정을 거치고 나니



아래와 같은 화면이 뜬다

Accept ... 체크박스 체크를 하고 Continue 클릭



그냥 전부 admin 이라고 입력했다


Username 입력 (난 admin 입력)

Password 입력 (난 admin 입력)

Once again 입력 (난 admin 입력)


Create Account 버튼 클릭



아래와 같이 나오면 TeamCity 대충 설치 끝!



Posted by FeliZ_하늘..

댓글을 달아 주세요

2016-05-14 현재 PHD 지원 중단으로 다운로드가 전부 불가능함.


#########################################################


생략된 부분이 아주 많으므로


pivotal guide 를 꼭 읽어보면서 진행한다


http://pivotalhd.docs.pivotal.io/docs/install-ambari.html


rhel 6.6

jdk1.7.0_79

PHD 3.0.1.0

Ambari 1.7.1


위의 환경에서 진행하였고 HAWQ 는 설치하지 않았다


중간에 yum repository 를 dvd 로 잡아주는 과정이 있다


###################################################################


install PHD3.0.1.0 with Ambari 1.7.1


모든 서버에 ambari-server 를 설치할 서버의 ssh public key 가


~/.ssh/authorized_keys 에 등록돼 있어야 한다


자기 자신과도 키 교환을 해야 한다


모든 작업은 root 로 진행했다


############## 아래 명령어들을 모든 노드에서 실행


vi /etc/hosts

# 아이피를 적절히 넣어준다. 3번째 열 ex1.phd.local 이 부분이 중요하다

# fqdn 인데 . 으로 구분하고 맨 앞에 host 그 뒤가 도메인 네임이다

# host 는 되도록 아래 형식과 비슷하게 하는 것이 나중에 ambari 에서 host 등록이 편하다

# 뭐 크게 불편한 것도 아니지만..

123.123.123.111 ex1 ex1.phd.local

123.123.123.112 ex2 ex2.phd.local

123.123.123.113 ex3 ex3.phd.local

123.123.123.114 ex4 ex4.phd.local

123.123.123.115 ex5 ex5.phd.local

123.123.123.116 ex6 ex6.phd.local


# 시간 동기화를 해준다 돼있다면 필요없다

date

rdate -s time.bora.net

date


service iptables stop


mkdir -p /etc/sysctl.d

( cat > /etc/sysctl.d/99-hadoop-ipv6.conf <<-'EOF'

## Disabled ipv6

## Provided by Ambari Bootstrap

net.ipv6.conf.all.disable_ipv6 = 1

net.ipv6.conf.default.disable_ipv6 = 1

net.ipv6.conf.lo.disable_ipv6 = 1

EOF

    )

sysctl -e -p /etc/sysctl.d/99-hadoop-ipv6.conf

vi /etc/rc.local 


if test -f /sys/kernel/mm/redhat_transparent_hugepage/enabled; then 

   echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled; fi

if test -f /sys/kernel/mm/redhat_transparent_hugepage/defrag; then 

   echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag; fi


setenforce 0

vi /etc/selinux/config

SELINUX=disabled


vi /etc/yum/pluginconf.d/refresh-packagekit.conf

# 1 => 0



reboot


cat /sys/kernel/mm/redhat_transparent_hugepage/enabled

cat /sys/kernel/mm/redhat_transparent_hugepage/defrag 

# 둘 다 아래의 결과가 나와야 한다

    always madvise [never]


mkdir /usr/java

cd /usr/java

# jdk 를 다운받아 놨다

tar zxvf ~/Downloads/jdk-7u79-linux-x64.gz -C /usr/java/

ln -s /usr/java/jdk1.7.0_79/ /usr/java/default

# 각자 알아서 좋아하는 위치에 export 한다

vim /etc/bashrc


export JAVA_HOME=/usr/java/default


export PATH=$JAVA_HOME/bin:$PATH


source /etc/bashrc

java -version


# yum repository 에 rhel dvd 를 추가한다
vi /etc/yum.repos.d/rhel-dvd.repo


[rhel-dvd]

name=Red Hat Enterprise Linux $releasever - $basearch - DVD

baseurl=file:///media/RHEL-6.6\ Server.x86_64/

gpgcheck=0


yum clean all


# ntpd 를 시작하지 않으면 ambari 에서 설치시 warning 이 뜬다

service ntpd start


########## ambari-server 가 설치된 서버에서만 실행

service httpd start

mkdir /staging

chmod a+rx /staging

tar zxvf ~/Downloads/AMBARI-1.7.1-88-centos6.tgz -C /staging/

/staging/AMBARI-1.7.1/setup_repo.sh

setenforce 0

curl http://ex1/AMBARI-1.7.1/repodata/repomd.xml


cd /staging

yum -y install ambari-server

# JCE 도 미리 받아놨다

cp UnlimitedJCEPolicyJDK7.zip /var/lib/ambari-server/resources/


# 아래 순서대로 입력한다

# java 는 custom java 로 하고 db 는 embedded postgresql 을 사용한다

# mysql 로 해도 되는데 mysql 로 했다가

# hive 를 ambari-server 와 같은 위치에 설치했다가 ambari 가 죽었다

ambari-server setup

n

2

/usr/java/default

n

ambari-server start

# PHD 관련된 것들을 미리 받아놨다

tar xvf PHD-UTILS-1.1.0.20-centos6.tar

tar zxvf PHD-3.0.1.0-1-centos6.tgz

PHD-UTILS-1.1.0.20/setup_repo.sh

PHD-3.0.1.0/setup_repo.sh

yum repolist


이제 터미널 작업 끝


browser 에서 http://ex1:8080 접속

admin // admin 접속

Launch Install Wizard 버튼 클릭



ex (원하는 이름) 입력 후 Next 버튼 클릭



Advanced Repository Options 클릭

redhat6 만 남기고 모두 체크 해제


http://ex1/PHD-UTILS-1.1.0.20

http://ex1/PHD-3.0.1.0

입력



ex[1-6].phd.local

입력

Provide.... 라디오버튼 클릭

ambari-server 설치된 곳의 ssh private key 선택

root

Register and Confirm 버튼 클릭

OK 클릭



실패할 경우엔 키교환이 모든 서버와 잘 돼있는지 확인한다

그래도 실패할 경우 서버마다 전부 root 로 로그인 해주고나서 Back 누르고 다시 Register and Confirm 눌러본다

Next



일단 전부 설치하고 서비스를 죽이려고 한다 Next



1번에 너무 몰아서 설치하는 느낌이 있긴 하지만 거의 대부분 서비스 종료시킬 것이다 Next



ex5, ex6 의 client 만 추가로 체크해줬다 Next



빨간불이 몇개 들어와 있을텐데 적절히 설정하여 빨간 불을 꺼준다 Next



리뷰 한번 봐 주고 프린트도 하려면 하고 Deploy!!!!!



실패할 경우 모든 서버의 yum repository 가 잘 설정 돼있는지 확인한다 Next



끝! Complete!!!!


Loading...



Dashboard 를 확인할 수 있다

'[BigData] > [PHD]' 카테고리의 다른 글

Install PHD 3.0.1.0 with Apache Ambari 1.7.1  (0) 2015.10.02
Posted by FeliZ_하늘..

댓글을 달아 주세요

rsync 사용해보기

[Linux] 2015.09.25 18:14

http://www.joinc.co.kr/modules/moniwiki/wiki.php/Site/Tip/Rsync

'[Linux]' 카테고리의 다른 글

rsync 사용해보기  (0) 2015.09.25
vi 명령어  (0) 2015.08.04
부팅시 mysql 자동시작  (0) 2015.07.31
.profile .bash_profile .bashrc 차이  (0) 2015.07.08
리눅스 dns 설정  (0) 2015.07.03
쉘 프롬프트 변경  (1) 2015.06.02
Posted by FeliZ_하늘..

댓글을 달아 주세요

일단 내 환경은 Apache Hadoop 2.6.0 을

fl1, fl2, fl3, fl4, fl5

총 5개의 centos 6.7 vm 에 설치하여

5개의 vm 전체에 spark 을 설치하여 standalone 모드로 돌려 볼 생각이다

fl1 - namenode, datanode, history-server, spark master
fl2 - datanode, spark slave
fl3 datanode, spark slave
fl4 datanode, spark slave
fl5 datanode, spark slave


위 사이트에 들어가서 다운로드 받던지 아래를 실행하여 다운받고

적당한 위치로 다운받은 파일을 복사 후 압축을 푼다


그리고 아래를 실행하여 빌드를 한다


내가 설치한 하둡은 2.6.0 이어서 2.6 으로 줬다



혹시 maven perm gen 오류가 나면 아래를

~/.bashrc

~/.profile

~/.bash_profile

/etc/bashrc

/etc/profile

5개 중 하나에 추가한다


난 모든 사용자 공통으로 적용되도록 /etc/bashrc 에 추가했다


적절히 각자 환경에 맞는 곳에 추가한다



그리고 한참(나는 약 1시간 걸렸다) 지나면 빌드가 끝나고


spark-1.5.0-bin-custom-spark.tgz 파일이 생성된다.


파일을 일단 다른 곳에 복사해둔 뒤


소스와 같은 위치에 압축을 풀어준다



그리고 SPARK_HOME 과 PATH 를 등록해준다



그리고나서 아래 설정사항들을 입력한다


slaves



spark-defaults.conf



spark-env.sh




Posted by FeliZ_하늘..

댓글을 달아 주세요

설치 환경

OSX 10.10 에서 parallels 8 로 CentOS 6.6 을 띄워서 작업

Oracle java 1.7.0_79


fl1 이라는 서버에 zookeeper server 를 3개 띄울 것이다


간혹 # 뒤에 문자열이 더 있는 건 2번 또는 3번에서 그렇게 설정한다



tickTime=2000
dataDir=/var/lib/zookeeper/1/data # /var/lib/zookeeper/2/data /var/lib/zookeeper/3/data
dataLogDir=/var/lib/zookeeper/1/logs # /var/lib/zookeeper/2/logs /var/lib/zookeeper/3/logs
initLimit=5
syncLimit=2
clientPort=2181 # 2182 2183
server.1=fl1:2888:3888
server.2=fl1:2889:3889
server.3=fl1:2890:3890



zookeeper.log.dir=/var/lib/zookeeper/1/logs # /var/lib/zookeeper/2/logs /var/lib/zookeeper/3/logs



ZOO_LOG_DIR="/var/lib/zookeeper/1/logs” # /var/lib/zookeeper/2/logs /var/lib/zookeeper/3/logs



zookeeper cli 에 접속되면 아래를 입력하여 제대로 나오는지 확인한다


Posted by FeliZ_하늘..

댓글을 달아 주세요

  1. FeliZ_하늘.. 2016.09.12 15:51 신고  댓글주소  수정/삭제  댓글쓰기

    클라이언트 커넥션 수를 늘리기 위한 설정
    maxClientCnxns=1000

yum install http://yum.postgresql.org/9.4/redhat/rhel-6-x86_64/pgdg-redhat94-9.4-1.noarch.rpm


yum install postgresql94-server postgresql94-contrib postgis2_94

service postgresql-9.4 initdb

chkconfig postgresql-9.4 on

su - postgres

createuser --createdb --login --createrole --superuser --username=postgres cloudine

createdb --encoding=UTF8 --echo cloudine

createdb postgis

psql postgis


아래 쿼리를 입력해보면 installed_version 이 비어있는데

select * from pg_available_extensions order by name


아래 쿼리들을 입력하고나면 installed_version 이 채워질 것이다

CREATE EXTENSION postgis;

CREATE EXTENSION postgis_topology;

CREATE EXTENSION fuzzystrmatch;

CREATE EXTENSION postgis_tiger_geocoder;


업그레이드를 위해서는 아래 쿼리를 입력한다

ALTER EXTENSION postgis UPDATE TO "2.1.8";

ALTER EXTENSION postgis_topology UPDATE TO "2.1.8";

ALTER EXTENSION postgis_tiger_geocoder UPDATE TO "2.1.8";


아래 쿼리를 입력하면 postgis 버전을 확인할 수 있다

SELECT PostGIS_full_version();

'[DB] > [PostgreSQL]' 카테고리의 다른 글

postgresql 8.2 text to boolean  (0) 2016.07.09
postgresql 9.4, postgis 설치하기  (0) 2015.08.06
postgresql 에서 테이블 정보 추출하기  (0) 2015.03.03
pgadmin 설치  (0) 2015.02.23
PostgreSQL과 MySQL의 차이점  (0) 2015.02.23
postgresql first steps  (0) 2015.02.23
Posted by FeliZ_하늘..

댓글을 달아 주세요