왕초보 프로그래머 Sky

http://springy.tistory.com/735

sudo vi /usr/share/vim/vimrc

" http://springy.tistory.com/735

set ai                  " auto indenting

set history=100         " keep 100 lines of history

set ruler               " show the cursor position

syntax on               " syntax highlighting

set hlsearch            " highlight the last searched term

filetype plugin on      " use the file type plugins

" When editing a file, always jump to the last cursor position

autocmd BufReadPost *

\ if ! exists("g:leave_my_cursor_position_alone") |

\ if line("'\"") > 0 && line ("'\"") <= line("$") |

\ exe "normal g'\"" |

\ endif |

\ endif

https://github.com/cloudera/hue/tree/master/apps/spark/java

cloudera 에서 만든 hue 안에 있는 Livy

hue 와 디펜던시가 없다 함

Application

순차적으로나 병렬로 어떤 데이터 처리 로직과 잡의 시리즈를 스케쥴 가능한 SparkContext 의 인스턴스 하나.

보통 Driver 로 쓰이는 클래스 하나를 뜻하는 듯하다.

Job

driver application 에 의해 발생한 action 이나 데이터 저장이 끝난 RDD 에서 transformation 의 완전한 집합.

action 이 일어나기 전까지의 transformation 을 합쳐서 Job 이라고 하는 듯하다.

Stage

독립된 워커 하나에 의해 파이프라인되고 실행된 transformation 의 집합. 대게 transformation 사이의 "read", "shuffle", "action", "save".

Job 사이에 일어나는 연산들을 말하는 듯하다.

Task

데이터 파티션 하나에서 Stage 의 실행. 스케쥴링의 기본 단위.

RDD 가 파티션 된 하나 정도라고 보면 될 듯하다.

참고 : http://www.slideshare.net/AGrishchenko/apache-spark-architecture

위 사이트에서 60~69페이지

네비게이션의 gps 좌표를 선으로 이은 shp 파일 만들기

gps 좌표를 가지고 있는 csv 파일을 불러와서

좌표를 이용하여 shp 파일과 shx 파일을 생성한다

오늘의 목표는 TeamCity 를 대충 설치해보기

작업환경

rhel 6.6 64bit

oracle jdk 1.7.0_79 (JAVA_HOME 세팅됨)

mysql 5.1.73 (UTF-8 세팅됨)

TeamCity 9.1.4

아래 링크에서 TeamCity 9.1.4 linux 버전을 다운 받고 압축해제한다

https://www.jetbrains.com/teamcity/download/#tabs_1=linux-version

TeamCity 디렉토리로 이동 후 bin/runAll.sh start 명령어로 팀시티를 시작한다

브라우저에서 http://host:8111/ 로 접속하면 아래와 같은 화면이 뜬다

Proceed 버튼 클릭

Select the database type 을 선택 후 MySQL 을 선택

mysql jdbc 를 다운로드 후 ~/.BuildServer/lib/jdbc 디렉토리로 복사한다

그리고 Refresh JDBC drivers 버튼 선택

Database host 에 mysql 이 설치된 host 를 입력 (난 localhost 라고 입력)

Database name 입력 (난 teamcity 라고 입력)

User name 입력 (난 root 라고 입력)

Password 필요하다면 입력 (난 비밀번호 필요 없어서 입력 안함)

Proceed 버튼 클릭

teamcity 라는 database 가 없다고 하니 만들어준다

Proceed 버튼 클릭

아래와 같은 과정을 거치고 나니

아래와 같은 화면이 뜬다

Accept ... 체크박스 체크를 하고 Continue 클릭

그냥 전부 admin 이라고 입력했다

Username 입력 (난 admin 입력)

Password 입력 (난 admin 입력)

Once again 입력 (난 admin 입력)

Create Account 버튼 클릭

아래와 같이 나오면 TeamCity 대충 설치 끝!

제외되는 값 없이 비교하기 (비교 대상이 없는 경우 다음 값 반환)

http://docs.geotools.org/stable/tutorials/feature/csv2shp.html

import org.apache.spark.mllib.linalg._

import org.apache.spark.mllib.stat.Statistics

val r1 = util.Random.shuffle(0 to 10000).map(_.toDouble)

val r2 = util.Random.shuffle(0 to 10000).map(_.toDouble)

val r1RDD = sc.parallelize(r1, 5)

val r2RDD = sc.parallelize(r2, 5)

val corr = Statistics.corr(r1RDD, r2RDD, "pearson")