apache hawq 에서 postgis 를 사용하기

[BigData]/[Apache HAWQ] 2016. 7. 31. 19:32
apache hawq 는 postgresql 기반이다.

postgis 는 postgresql 에서 gis 연산을 할 수 있도록 해주는 postgresql extension 이다.

postgresql 9.2 이상 설치 가능한 것으로 기억하고 있다.

그런데 최근 greenplum committer 로 예상되는 누군가가 apache hawq 에서 postgis 를 사용 가능하도록 포팅했다.

greenplum gis extension 을 이용했다고 한다.

그래서 아래의 링크를 기반으로


apache hawq 에서 postgis 를 설치하는 아래의 문서를 작성했다.

https://github.com/HaNeul-Kim/apache-hawq-build/blob/master/postgis_for_hawq_build.asciidoc


저작자표시변경금지

'[BigData] > [Apache HAWQ]' 카테고리의 다른 글

apache hawq 에서 postgis 를 사용하기  (0) 2016.07.31
HAWQ resource manager 를 yarn 으로 설치 시 pgadmin 연결 불가  (2) 2016.06.18
Apache HAWQ 2.0 build and install in cluster  (0) 2016.06.05
Apache HAWQ 2.0 build and install  (0) 2016.05.28
Posted by FeliZ_하늘..
TAG 2.0, Apache, greenplum, hawq, pivotal, postgis, postgres, postgresql
트랙백 0개, 댓글 0개가 달렸습니다

댓글을 달아 주세요

HAWQ resource manager 를 yarn 으로 설치 시 pgadmin 연결 불가

[BigData]/[Apache HAWQ] 2016. 6. 18. 22:10

Apache HAWQ 2.0.0 을 resource manager 를 yarn 으로 설치 후 pgadmin 으로 연결하려고 하자


pg_resqueue table 이 없어서 연결이 안되고


hawq yarn application 이 재시작 되었다.


그래서 Pivotal HAWQ 2.0.0 을 설치하기로 하고 그 전에 HDP 를 설치했다.


http://hskimsky.tistory.com/111


그리고나서 pgadmin 으로 HAWQ 에 연결하려고 하자 여전히 yarn 에서 hawq 가 재시작됐다.


왜 이러는지 문서를 더 찾아보든가 committer 에게 문의하든가 해야겠다

저작자표시변경금지

'[BigData] > [Apache HAWQ]' 카테고리의 다른 글

apache hawq 에서 postgis 를 사용하기  (0) 2016.07.31
HAWQ resource manager 를 yarn 으로 설치 시 pgadmin 연결 불가  (2) 2016.06.18
Apache HAWQ 2.0 build and install in cluster  (0) 2016.06.05
Apache HAWQ 2.0 build and install  (0) 2016.05.28
Posted by FeliZ_하늘..
TAG Apache, Connect, Connection, hawq, Manager, pgadmin, pivotal, refused, resource, yarn
트랙백 0개, 댓글 2개가 달렸습니다

댓글을 달아 주세요

  1. 1466433016 2016.06.20 23:30  댓글주소  수정/삭제  댓글쓰기

    알찬 정보 좋네요~

  2. 1466955918 2016.06.27 00:45  댓글주소  수정/삭제  댓글쓰기

    좋은글 감사

Apache HAWQ 2.0 build and install in cluster

[BigData]/[Apache HAWQ] 2016. 6. 5. 15:36

직접 작성한 문서입니다


Apache Hadoop 2.7.2 버전 위에 HAWQ 2.0 dev 버전을 resource manager 를 yarn 으로 설치하고 HAWQ 에서 hdfs 와 web 의 파일을 읽어서 external table 을 만드는 것을 목표로 합니다.

Apache HAWQ 를 build, install 하는 순서와 명령어를 아주 자세하게 적어놓았습니다.

hadoop install 방법은 포함하지 않았고 pxf install 을 포함하고 있습니다.

먼저 챕터별 전체 실행 스크립트를 적어놓았고 그 뒤에 부분별 실행 스크립트를 적어놓았고 그 다음에 실행 한 결과 로그를 적어놓았습니다.

문서는 asciidoc 으로 작성하였으며 repository 내에 asciidoc 파일 및 pdf 파일도 포함되어 있습니다.

잘못된 점이 있으면 hskimsky@gmail.com 으로 메일 주시기 바랍니다.

빌드 성공을 기원합니다.


https://github.com/HaNeul-Kim/apache-hawq-build

저작자표시변경금지

'[BigData] > [Apache HAWQ]' 카테고리의 다른 글

apache hawq 에서 postgis 를 사용하기  (0) 2016.07.31
HAWQ resource manager 를 yarn 으로 설치 시 pgadmin 연결 불가  (2) 2016.06.18
Apache HAWQ 2.0 build and install in cluster  (0) 2016.06.05
Apache HAWQ 2.0 build and install  (0) 2016.05.28
Posted by FeliZ_하늘..
TAG 2.0, 2.7.2, Apache, asciidoc, build, Cluster, external, Hadoop, hawq, HDB, install, Manager, pivotal, pxf, resource, Table, yarn
트랙백 0개, 댓글 0개가 달렸습니다

댓글을 달아 주세요

Apache HAWQ 2.0 build and install

[BigData]/[Apache HAWQ] 2016. 5. 28. 11:04

CentOS 6.7

Oracle JDK 1.7.0_80

Apache Maven 3.3.9

Python 2.6.6

Apache Hadoop 2.7.2

Apache HAWQ 2.0.0.0 dev

PXF 3.0.0


위 사양으로 설치 완료

Apache HAWQ build 만 6개월정도 삽질 한 듯..

문서에서는 gcc 버전을 4.7.2 이상 쓰라는데

centos 6.7에서 gcc 버전 4.7.2 로 올리면 yum 이 안됨

(나는 그냥 default 인 4.4.7 로 했음)

kernal 옵션 설정시 본인의 사양과 잘 비교하면서 할 것. 부팅이 불가할 수도 있음

semaphore 설정은 필수임

PXF 설치도 자잘하게 해줘야 할 것들이 많음

PXF 는 51200 port 로 실행하고 external table location 의 port 도 51200 으로 사용함


지금은 single node 로 구성했는데

조만간 vm 4개정도로 HAWQ HA 구성까지 하면서 메뉴얼 작성 해봐야겠다


저작자표시변경금지

'[BigData] > [Apache HAWQ]' 카테고리의 다른 글

apache hawq 에서 postgis 를 사용하기  (0) 2016.07.31
HAWQ resource manager 를 yarn 으로 설치 시 pgadmin 연결 불가  (2) 2016.06.18
Apache HAWQ 2.0 build and install in cluster  (0) 2016.06.05
Apache HAWQ 2.0 build and install  (0) 2016.05.28
Posted by FeliZ_하늘..
TAG 2.0, 2.7.2, Apache, build, Hadoop, hawq, HDB, install, pivotal, 설치
트랙백 0개, 댓글 0개가 달렸습니다

댓글을 달아 주세요