IDEA開發Spark項目sbt引入依賴

問題說明

spark中運作項目有兩種方式

1. 在spark-shell中導入依賴，編寫代碼，執行
2. 和在idea中寫好應用，使用spark-submit方式送出到spark運作

在使用idea開發spark應用時，引入依賴總是失敗，原因是不知道依賴的資訊和對應scala版本的關系，所有需要知道倉庫資源的資訊

sbt插件預設倉庫位址

https://repo1.maven.org/maven2

打開以上倉庫位址，查找依賴

比如spark-streaming，在org/apache/spark目錄下

打開

spark-streaming_2.11-2.4.3.pom

其中，groupId，artifactId,version分别對應sbt依賴的groupId，artifactId,version

注意：spark-streaming_2.11字尾2.11表示scala的版本資訊，必須選擇與目前scala版本一緻的依賴引入，最後的2.4.3表示spark-core的版本

下載下傳速度優化

如果是在idea安裝sbt插件方式，預設的sbt下載下傳位置在

C:\Users\Administrator\.IdeaIC2018.1\config\plugins\Scala\launcher

用ZIP壓縮方式打開sbt-launch.jar，把此檔案拷貝出來，修改sbt目錄下的sbt.boot.properties檔案，在local下加入阿裡雲倉庫位址

local
  alirepo1:https://maven.aliyun.com/repository/central
  alirepo2:https://maven.aliyun.com/repository/jcenter
  alirepo3:https://maven.aliyun.com/repository/public
           

修改完之後 替換掉原來的sbt-launch.jar的sbt目錄下的sbt.boot.properties檔案 如果提示正在使用 需要關掉idea并殺掉所有javaw.exe程序

轉載于:https://my.oschina.net/odetteisgorgeous/blog/3084996