天天看點

spark學習-SparkSQL-java版JavaRDD與JavaPairRDD的互相轉換

spark學習-SparkSQL-java版JavaRDD與JavaPairRDD的互相轉換

1。引發:做一個java讀取hbase的注冊成表的程式。但是讀出來的是javaPairRDD,而網上都是javaRDD轉成dataFrame,我隻能自己摸索怎麼轉成javaRDD

2。方法

  JavaRDD => JavaPairRDD: 通過mapToPair函數

  JavaPairRDD => JavaRDD: 通過map函數轉換

3。不管其他先運作一下

package com.lcc.spark.rdd.test;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.VoidFunction;
import org.ap
           

繼續閱讀