UpdateStateByKey、Tranform 算子_3|學習筆記

開發者學堂課程【大資料實時計算架構 Spark 快速入門： UpdateStateByKey、Tranform 算子_3】學習筆記，與課程緊密聯系，讓使用者快速學習知識。

課程位址：

https://developer.aliyun.com/learning/course/100/detail/1726

UpdateStateByKey、Tranform 算子_3

内容簡介：

一、transform 事例

二、相關代碼

可以通過 transform 算子，對 Dstream 做 RDD 到 RDD 的任意操作。其實就是DStream 的類型轉換。transform 是一個 transformation 類算子。

56

throws

 Exception {

57

58 

JavaPairRDD>>joinedRDO =

59 

userLogBatchRDD.leftOuterJoin(blacklistRDD);

60

61

JavaPairRDD>> filteredRDD m

62

joinedRDD.filter(

new

Function>，Boolean>()

63

64

private static final long

 serialVersionUID

= 1L;

65

66

@Override

67

public

Boolean call(Tuple2>> tuple)

68

throws

Exception {

69

70

if(tuple._2._2.isPresent()&&tuple._2._2.get()){

71

return false

;

72

74

return true

;

7

5

76

});

77

78

JavaRDDvalidLogRDDfilteredRDD.map(new Function

79

80

private static final long

serialVersionUID

= 1L;

81

82

@Override

83

public String call(

84

Tuple2>> tuple)

85

throws Exception{

86

return

 tuple.

_

2.1:

87}

88

});

89

90

return validLogRDD;

91 }

92

});

93