spark streaming 初始_1 | 學習筆記

開發者學堂課程【大資料實時計算架構 Spark 快速入門：spark streaming初始_1】學習筆記，與課程緊密聯系，讓使用者快速學習知識。

課程位址：

https://developer.aliyun.com/learning/course/100/detail/1719

spark streaming 初始_1

内容簡介：

一、具體内容

①spark streaming makes it easy to build scalable fault _tolerant streaming applications ，是指 spark streaming 可以讓那個可擴充的程式很容易的就去弄流式的程式；

②Ease of Use，build application through high_level operators，

Fault Tolerance stateful exactly_once semantics out of the box 是僅計算一次，計算的非常精準，spark streamibg recovers both lost work and operator sate 會恢複失去的工作，保持狀态，這種工作不需要人工去做，能夠直接儲存；

③Spark integration   combine streaming with batch and interactive queries都能整合在一起，程式在裡面都可以複用，很多時候，在技術選行的時候，如果項目要擴充，很多時候可以直接用 spark ，整合得非常友善， twitter 是國外的微網誌；

④ spark 裡面有 spark streaming 和 sparkSQL ， streaming 是留處理，我們希望資料進入到系統裡面來，要分析，出結果，有些時候是一條記錄進來然後立刻進行處理，幾乎沒有延遲的計算叫做流式計算，批處理需要攢一批資料， storm 可以直接處理流處理， storm 可以做到毫秒級，一般是金融機構裡面是需要精确，很多公司在轉 spark steaming。