UpdateStateByKey、Tranform 算子_3|学习笔记

开发者学堂课程【大数据实时计算框架 Spark 快速入门： UpdateStateByKey、Tranform 算子_3】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：

https://developer.aliyun.com/learning/course/100/detail/1726

UpdateStateByKey、Tranform 算子_3

内容简介：

一、transform 事例

二、相关代码

可以通过 transform 算子，对 Dstream 做 RDD 到 RDD 的任意操作。其实就是DStream 的类型转换。transform 是一个 transformation 类算子。

56

throws

 Exception {

57

58 

JavaPairRDD>>joinedRDO =

59 

userLogBatchRDD.leftOuterJoin(blacklistRDD);

60

61

JavaPairRDD>> filteredRDD m

62

joinedRDD.filter(

new

Function>，Boolean>()

63

64

private static final long

 serialVersionUID

= 1L;

65

66

@Override

67

public

Boolean call(Tuple2>> tuple)

68

throws

Exception {

69

70

if(tuple._2._2.isPresent()&&tuple._2._2.get()){

71

return false

;

72

74

return true

;

7

5

76

});

77

78

JavaRDDvalidLogRDDfilteredRDD.map(new Function

79

80

private static final long

serialVersionUID

= 1L;

81

82

@Override

83

public String call(

84

Tuple2>> tuple)

85

throws Exception{

86

return

 tuple.

_

2.1:

87}

88

});

89

90

return validLogRDD;

91 }

92

});

93