天天看点

flink:风控/反欺诈检测系统案例研究1,2,3

https://flink.apache.org/news/2020/01/15/demo-fraud-detection.html

https://flink.apache.org/news/2020/03/24/demo-fraud-detection-2.html

https://flink.apache.org/news/2020/07/30/demo-fraud-detection-3.html

在本系列博文中,您将了解用于构建流应用程序的三种强大的 Flink 模式:

  • 应用逻辑的动态更新
  • 动态数据分区(shuffle),在运行时控制
  • 基于自定义窗口逻辑的低延迟警报(不使用窗口 API)

这些模式扩展了静态定义的数据流可实现的可能性,并提供了满足复杂业务需求的构建块。

应用程序逻辑的动态更新允许 Flink 作业在运行时更改,而不会因停止和重新提交代码而造成停机。

动态数据分区提供了在运行时更改 Flink 分发和分组事件方式的能力。在使用动态可重新配置的应用程序逻辑构建作业时,此类功能通常成为自然需求。

自定义窗口管理演示了当本机窗口 API不完全符合您的要求时,您可以如何利用低级进程函数 API。具体来说,您将学习如何在 Windows 上实现低延迟警报以及如何使用计时器限制状态增长。

这些模式建立在核心 Flink 功能之上,然而,它们可能不会从框架的文档中立即显现出来,因为如果没有具体的用例,解释和展示它们背后的动机并不总是微不足道的。这就是为什么我们将通过一个实际示例展示这些模式,该示例为 Apache Flink(欺诈检测引擎)提供了一个真实的使用场景。我们希望本系列将这些强大的方法融入您的工具带,让您能够承担新的和令人兴奋的任务。

欺诈检测演示的完整源代码是开源的,可在线获取。要在本地运行它,请查看以下存储库并按照自述文件中的步骤操作:

https://github.com/afedulov/fraud-detection-demo

继续阅读