'value' 태그의 글 목록

'value'에 해당되는 글 2건

2015.11.13 현재값과 다음값 비교 자바 버전 compare current value & next value java version
2015.08.10 mysql Field doesn't have a default value

현재값과 다음값 비교 자바 버전 compare current value & next value java version

[BigData]/[Apache Spark] 2015. 11. 13. 10:40

// 인덱스 부여
JavaPairRDD<String, Long> lineIndexRDD = jsc.textFile(path).persist(storageLevel).zipWithIndex();

// key, value pair 로 변환 (key: index, value: line) index 는 0 부터 시작
JavaPairRDD<Long, String> currLine = lineIndexRDD.mapToPair(new PairFunction<Tuple2<String, Long>, Long, String>() {
    @Override
    public Tuple2<Long, String> call(Tuple2<String, Long> lineIndex) throws Exception {
        return new Tuple2<>(lineIndex._2(), lineIndex._1());
    }
});

// 다음값 추출
JavaPairRDD<Long, String> nextLine = lineIndexRDD.filter(new Function<Tuple2<String, Long>, Boolean>() {
    @Override
    public Boolean call(Tuple2<String, Long> v1) throws Exception {
        return v1._2() > 0;
    }
}).mapToPair(new PairFunction<Tuple2<String, Long>, Long, String>() {
    @Override
    public Tuple2<Long, String> call(Tuple2<String, Long> lineIndex) throws Exception {
        return new Tuple2<>(lineIndex._2() - 1, lineIndex._1());
    }
});

// 부여한 index 로 join
JavaRDD<String> compareResult = currLine.join(nextLine).map(new Function<Tuple2<Long, Tuple2<String, String>>, String>() {
    @Override
    public String call(Tuple2<Long, Tuple2<String, String>> indexCurrNext) throws Exception {
        String curr = indexCurrNext._2()._1();
        String next = indexCurrNext._2()._2();

// your compare logic
        return "";
    }
});

제외되는 값 없이 비교하기 (비교 대상이 없는 경우 다음 값 반환)

// 인덱스 부여
JavaPairRDD<String, Long> lineIndexRDD = jsc.textFile("").persist(null).zipWithIndex();

// 다음값 추출
JavaPairRDD<Long, String> nextLine = lineIndexRDD.mapToPair(new PairFunction<Tuple2<String, Long>, Long, String>() {
    @Override
    public Tuple2<Long, String> call(Tuple2<String, Long> lineIndex) throws Exception {
        return new Tuple2<>(lineIndex._2() + 1, lineIndex._1());
    }
});

// 부여한 index 로 join
JavaRDD<String> compareResult = currLine.leftOuterJoin(nextLine).map(new Function<Tuple2<Long, Tuple2<String, Optional<String>>>, String>() {
    @Override
    public String call(Tuple2<Long, Tuple2<String, Optional<String>>> indexCurrNext) throws Exception {
        String next = indexCurrNext._2()._1();
        Optional<String> currOptional = indexCurrNext._2()._2();
        String curr = null;
        if (currOptional.isPresent()) {
            curr = currOptional.get();
        } else {
            return next;
        }

// your compare logic
        return next;
    }
});

저작자표시 변경금지

'[BigData] > [Apache Spark]' 카테고리의 다른 글

Databricks Data Engineer Professional Exam 후기 (2)	2023.06.18
spark rest 호출 (0)	2016.02.18
용어정리 (0)	2016.02.06
spark 피어슨 상관계수 계산 (0)	2015.11.09
Apache Spark 1.5.0 설치 (0)	2015.09.21

Posted by FeliZ_하늘..

mysql Field doesn't have a default value

[DB]/[MySQL] 2015. 8. 10. 12:12

mysqldump 를 떴는데 --skip-opt 때문에 pk 의 auto_increment 옵션이 빠지는 문제가 발생했다

일단은

ALTER TABLE table_name MODIFY column_name column_type NOT NULL AUTO_INCREMENT;

를 입력해서 해결

나중엔 --skip-opt 를 넣지 말고 dump 를 떠야겠다

저작자표시 변경금지

'[DB] > [MySQL]' 카테고리의 다른 글

mysql dump (0)	2015.08.10
mysql left, right 함수 (0)	2015.02.02
mysql union 사용하기 (0)	2015.01.09
mysql instr() 사용 (0)	2015.01.09
mysql substring_index() 사용 (0)	2015.01.09

Posted by FeliZ_하늘..

이전 1 다음

일	월	화	수	목	금	토
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30	31

왕초보 프로그래머 Sky

'value'에 해당되는 글 2건

현재값과 다음값 비교 자바 버전 compare current value & next value java version

'[BigData] > [Apache Spark]' 카테고리의 다른 글

mysql Field doesn't have a default value

'[DB] > [MySQL]' 카테고리의 다른 글

카테고리

태그목록

최근에 올라온 글

최근에 달린 댓글

최근에 받은 트랙백

글 보관함

달력

링크

티스토리툴바