반응형
import org.apache.spark.mllib.linalg._
import org.apache.spark.mllib.stat.Statistics
val r1 = util.Random.shuffle(0 to 10000).map(_.toDouble)
val r2 = util.Random.shuffle(0 to 10000).map(_.toDouble)
val r1RDD = sc.parallelize(r1, 5)
val r2RDD = sc.parallelize(r2, 5)
val corr = Statistics.corr(r1RDD, r2RDD, "pearson")
반응형
'[BigData] > [Apache Spark]' 카테고리의 다른 글
| Databricks Data Engineer Professional Exam 후기 (2) | 2023.06.18 |
|---|---|
| spark rest 호출 (0) | 2016.02.18 |
| 용어정리 (0) | 2016.02.06 |
| 현재값과 다음값 비교 자바 버전 compare current value & next value java version (0) | 2015.11.13 |
| Apache Spark 1.5.0 설치 (0) | 2015.09.21 |
