[Spark]Spark RDD 指南一 引入Spark

2.3.0版本： Spark2.3.0 引入Spark

1. Java版

Spark 2.1.1适用于Java 7及更高版本。 如果您使用的是Java 8，則Spark支援使用lambda表達式來簡潔地編寫函數，否則可以使用org.apache.spark.api.java.function包中的類。

請注意，從Spark 2.0.0開始，不支援Java 7，并且可能會在Spark 2.2.0中删除(Note that support for Java 7 is deprecated as of Spark 2.0.0 and may be removed in Spark 2.2.0)。

要在Java中編寫Spark應用程式，您需要在Spark上添加依賴關系。 Spark可通過Maven 倉庫獲得：

groupId = org.apache.spark
artifactId = spark-core_2.11
version = 2.1.0           

另外，如果希望通路HDFS叢集，則需要根據你的HDFS版本添加hadoop-client的依賴：

groupId = org.apache.hadoop
artifactId = hadoop-client
version = <your-hdfs-version>           

最後，您需要将一些Spark類導入到程式中。 添加以下行：

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;           

https://note.youdao.com/md/?file=%2Fyws%2Fapi%2Fpersonal%2Ffile%2FWEBc5a98780e2478a1f8a5422daa50f200b%3Fmethod%3Ddownload%26read%3Dtrue#2-scala%E7%89%88 2. Scala版

預設情況下，Spark 2.1.1在Scala 2.11上建構并分布式運作(Spark 2.1.1 is built and distributed to work with Scala 2.11 by default)。 （Spark可以與其他版本的Scala一起建構。）要在Scala中編寫應用程式，您将需要使用相容的Scala版本（例如2.11.X）。

groupId = org.apache.spark
artifactId = spark-core_2.11
version = 2.1.1           

groupId = org.apache.hadoop
artifactId = hadoop-client
version = <your-hdfs-version>           

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf           

備注

在Spark 1.3.0之前，您需要顯式導入

org.apache.spark.SparkContext._

才能啟用基本的隐式轉換。

原文：

http://spark.apache.org/docs/latest/programming-guide.html#linking-with-spark