'비교' 태그의 글 목록

'비교'에 해당되는 글 2건

2015.11.13 현재값과 다음값 비교 자바 버전 compare current value & next value java version
2015.01.08 MySQL INT data type 비교

현재값과 다음값 비교 자바 버전 compare current value & next value java version

[BigData]/[Apache Spark] 2015. 11. 13. 10:40

// 인덱스 부여
JavaPairRDD<String, Long> lineIndexRDD = jsc.textFile(path).persist(storageLevel).zipWithIndex();

// key, value pair 로 변환 (key: index, value: line) index 는 0 부터 시작
JavaPairRDD<Long, String> currLine = lineIndexRDD.mapToPair(new PairFunction<Tuple2<String, Long>, Long, String>() {
    @Override
    public Tuple2<Long, String> call(Tuple2<String, Long> lineIndex) throws Exception {
        return new Tuple2<>(lineIndex._2(), lineIndex._1());
    }
});

// 다음값 추출
JavaPairRDD<Long, String> nextLine = lineIndexRDD.filter(new Function<Tuple2<String, Long>, Boolean>() {
    @Override
    public Boolean call(Tuple2<String, Long> v1) throws Exception {
        return v1._2() > 0;
    }
}).mapToPair(new PairFunction<Tuple2<String, Long>, Long, String>() {
    @Override
    public Tuple2<Long, String> call(Tuple2<String, Long> lineIndex) throws Exception {
        return new Tuple2<>(lineIndex._2() - 1, lineIndex._1());
    }
});

// 부여한 index 로 join
JavaRDD<String> compareResult = currLine.join(nextLine).map(new Function<Tuple2<Long, Tuple2<String, String>>, String>() {
    @Override
    public String call(Tuple2<Long, Tuple2<String, String>> indexCurrNext) throws Exception {
        String curr = indexCurrNext._2()._1();
        String next = indexCurrNext._2()._2();

// your compare logic
        return "";
    }
});

제외되는 값 없이 비교하기 (비교 대상이 없는 경우 다음 값 반환)

// 인덱스 부여
JavaPairRDD<String, Long> lineIndexRDD = jsc.textFile("").persist(null).zipWithIndex();

// 다음값 추출
JavaPairRDD<Long, String> nextLine = lineIndexRDD.mapToPair(new PairFunction<Tuple2<String, Long>, Long, String>() {
    @Override
    public Tuple2<Long, String> call(Tuple2<String, Long> lineIndex) throws Exception {
        return new Tuple2<>(lineIndex._2() + 1, lineIndex._1());
    }
});

// 부여한 index 로 join
JavaRDD<String> compareResult = currLine.leftOuterJoin(nextLine).map(new Function<Tuple2<Long, Tuple2<String, Optional<String>>>, String>() {
    @Override
    public String call(Tuple2<Long, Tuple2<String, Optional<String>>> indexCurrNext) throws Exception {
        String next = indexCurrNext._2()._1();
        Optional<String> currOptional = indexCurrNext._2()._2();
        String curr = null;
        if (currOptional.isPresent()) {
            curr = currOptional.get();
        } else {
            return next;
        }

// your compare logic
        return next;
    }
});

저작자표시변경금지

'[BigData] > [Apache Spark]' 카테고리의 다른 글

spark rest 호출 (0)	2016.02.18
용어정리 (0)	2016.02.06
현재값과 다음값 비교 자바 버전 compare current value & next value java version (0)	2015.11.13
spark 피어슨 상관계수 계산 (0)	2015.11.09
Apache Spark 1.5.0 설치 (0)	2015.09.21

Posted by FeliZ_하늘..

TAG Apache, Compare, Current, Java, next, spark, value, 다음값, 비교, 자바, 현재값

트랙백 0개, 댓글 0개가 달렸습니다

댓글을 달아 주세요

MySQL INT data type 비교

[DB]/[MySQL] 2015. 1. 8. 23:01

http://dev.mysql.com/doc/refman/5.1/en/integer-types.html

저작자표시변경금지

'[DB] > [MySQL]' 카테고리의 다른 글

mysql dump (0)	2015.08.10
mysql left, right 함수 (0)	2015.02.02
mysql union 사용하기 (0)	2015.01.09
mysql instr() 사용 (0)	2015.01.09
mysql substring_index() 사용 (0)	2015.01.09
MySQL INT data type 비교 (0)	2015.01.08

Posted by FeliZ_하늘..

TAG data, int, mysql, type, 비교

트랙백 0개, 댓글 0개가 달렸습니다

댓글을 달아 주세요

이전 1 다음

일	월	화	수	목	금	토
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31

왕초보 프로그래머 Sky

'비교'에 해당되는 글 2건

현재값과 다음값 비교 자바 버전 compare current value & next value java version

'[BigData] > [Apache Spark]' 카테고리의 다른 글

트랙백 주소 ::

댓글을 달아 주세요

MySQL INT data type 비교

'[DB] > [MySQL]' 카테고리의 다른 글

트랙백 주소 ::

댓글을 달아 주세요

카테고리

태그목록

최근에 올라온 글

최근에 달린 댓글

최근에 받은 트랙백

글 보관함

달력

링크