Flink 中的有状态计算：原理与实践-冰点博客

一、理解 Flink 中的有状态计算

在 Flink 的世界里，数据流可分为有界（bounded）和无界（unbounded）两种。有界数据流有明确的开始和结束，如一天内的电商订单数据；无界数据流则持续不断地产生，像网站的实时访问日志。有状态计算，简单来说，就是在处理数据流时，Flink 能够记住之前处理过的数据状态，并基于这些状态对后续数据进行处理。

Flink 的有状态计算基于其强大的分布式流数据引擎。以窗口计算为例，当我们需要统计过去 1 小时内网站的页面浏览量时，Flink 会在内存中维护一个窗口状态，记录每个窗口内的浏览量数据。随着新的浏览事件不断涌入，Flink 依据当前状态更新浏览量统计。这种状态并非一成不变，Flink 会根据配置的窗口策略，如滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）或会话窗口（Session Window），适时清理过期状态，确保计算的准确性和资源的高效利用。

滚动窗口（Tumbling Window）

滚动窗口具有固定大小，且窗口之间无重叠。以下是一个 Java 示例，该示例按每 1 小时的滚动窗口统计页面浏览量：

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.time.Time;

public class TumblingWindowExample {
    public static void main(String[] args) throws Exception {
        // 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 模拟页面浏览事件流
        DataStream<String> inputStream = env.fromElements(
                "page1", "page2", "page1", "page3", "page2", "page1");

        // 转换为 (page, 1) 格式
        DataStream<Tuple2<String, Integer>> pageViews = inputStream.map(new MapFunction<String, Tuple2<String, Integer>>() {
            @Override
            public Tuple2<String, Integer> map(String value) throws Exception {
                return new Tuple2<>(value, 1);
            }
        });

        // 按页面分组，使用滚动窗口统计每个窗口内的浏览量
        DataStream<Tuple2<String, Integer>> result = pageViews
               .keyBy(0)
               .timeWindow(Time.hours(1))
               .sum(1);

        // 打印结果
        result.print();

        // 执行作业
        env.execute("Tumbling Window Example");
    }
}

滚动窗口的状态机制

状态存储：滚动窗口将每个窗口内的数据作为一个独立的状态进行存储。例如，在按小时统计页面浏览量的滚动窗口中，每个小时的窗口都会有一个对应的状态来记录该小时内的浏览量信息。
状态更新：当新的数据到达时，Flink 会根据数据的时间戳判断其所属的滚动窗口，然后将数据累加到该窗口对应的状态中。例如，在 0 点到 1 点的滚动窗口中，每收到一条页面浏览记录，就会将浏览量加 1 到该窗口的状态中。
状态清理：滚动窗口的状态在窗口结束后会根据配置进行清理。默认情况下，Flink 会在窗口的触发时间点（例如整点），将窗口的计算结果输出，并清理该窗口的状态，以释放内存空间。

滑动窗口：使用 timeWindow(Time.hours(1), Time.minutes(15)) 构建大小为 1 小时、滑动步长为 15 分钟的滑动窗口，以此统计浏览量。

滑动窗口有固定大小，且会按固定步长滑动，窗口间可能重叠。以每 15 分钟为滑动步长，统计过去 1 小时内的页面浏览量：

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.tuple.Tuple2;

import org.apache.flink.streaming.api.datastream.DataStream;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import org.apache.flink.streaming.api.windowing.time.Time;

public class SlidingWindowExample {

    public static void main(String[] args) throws Exception {

        // 创建执行环境

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 模拟页面浏览事件流

        DataStream<String> inputStream = env.fromElements(

                "page1", "page2", "page1", "page3", "page2", "page1");

        // 转换为 (page, 1) 格式

        DataStream<Tuple2<String, Integer>> pageViews = inputStream.map(new MapFunction<String, Tuple2<String, Integer>>() {

            @Override

            public Tuple2<String, Integer> map(String value) throws Exception {

                return new Tuple2<>(value, 1);

            }

        });

        // 按页面分组，使用滑动窗口统计浏览量

        DataStream<Tuple2<String, Integer>> result = pageViews

               .keyBy(0)

               .timeWindow(Time.hours(1), Time.minutes(15))

               .sum(1);

        // 打印结果

        result.print();

        // 执行作业

        env.execute("Sliding Window Example");

    }

}

滑动窗口的状态机制

状态存储：滑动窗口由于存在重叠部分，其状态存储相对复杂。它需要存储每个可能的窗口状态，例如，以 1 小时为窗口大小、30 分钟为滑动步长的滑动窗口，需要存储从 0 点开始、0 点 30 分开始、1 点开始等多个窗口的状态信息。
状态更新：新数据到达时，会更新多个相关滑动窗口的状态。比如，一条在 0 点 15 分到达的页面浏览记录，可能会更新从 0 点开始、0 点 30 分开始这两个滑动窗口的状态。
状态清理：滑动窗口的状态清理不像滚动窗口那样简单。由于窗口重叠，不能在某个窗口触发计算后就立即清理状态，因为其他重叠的窗口可能还需要该状态信息。Flink 会根据滑动窗口的配置和数据的时间戳，在确保没有其他窗口再需要该状态信息时，才会清理状态。

会话窗口：通过 EventTimeSessionWindows.withGap(Time.minutes(10)) 构建会话窗口，若 10 分钟内无新事件，窗口便会关闭。

此外，Flink 支持多种类型的状态后端（State Backend），包括内存状态后端（MemoryStateBackend）、文件系统状态后端（FsStateBackend）和 RocksDB 状态后端（RocksDBStateBackend）。不同的状态后端适用于不同规模和需求的应用，内存状态后端适用于状态量较小、对性能要求极高的场景；文件系统状态后端适合中等规模状态存储，且具备较好的容错性；RocksDB 状态后端则专为大规模状态处理而设计，能在处理 TB 级甚至 PB 级状态数据时，依然保持高效稳定。

通过上面的示例可能一部分同学已经理解了，滑动串口和滚动窗口的区别，可能还有一些同学感觉很绕，那么我们通俗的讲一下

滚动窗口：重点在于 “滚动”，强调窗口是按照固定的大小依次划分，没有重叠，数据会被分配到不同的、相互独立的窗口中进行处理。比如按天统计数据，每天就是一个滚动窗口，当天的数据只会在当天的窗口内进行计算，不会涉及其他天的窗口。

以电商平台的订单统计为例，如果要按周统计订单数量，每周就是一个滚动窗口。第一周统计 1 号到 7 号的订单，第二周统计 8 号到 14 号的订单，以此类推，每周的统计范围是固定且不重叠的。

滑动窗口：关键在于 “滑动”，窗口大小固定，但会按照一定的步长在时间轴上滑动，相邻的窗口之间会有重叠部分。例如，统计每三天的数据，但每天都要进行统计，那么就是以三天为窗口大小，一天为步长进行滑动，这样每天的统计都会包含前一天和后一天的数据，有两天的重叠。

还是以电商平台为例，若要统计用户最近一个月的购买行为，以 7 天为窗口大小，每天滑动一次。那么第一天的窗口是 1 号到 7 号，第二天的窗口是 2 号到 8 号，每个窗口都有 6 天的重叠部分，通过这种滑动的方式可以更及时地反映用户的近期购买趋势。

二、有状态计算的实际业务应用场景

1. 电商实时交易监控与反欺诈

在电商平台中，每秒都有海量的交易数据产生。通过 Flink 的有状态计算，我们可以实时监控交易行为，及时发现潜在的欺诈风险。例如，当一个用户在短时间内（如 5 分钟）发起大量异地订单，或者同一 IP 地址在极短时间内产生多个不同用户账号的交易，这些异常行为都可能触发欺诈预警。Flink 通过维护用户和 IP 地址的交易状态，包括交易时间、地点、金额等信息，对每一笔新交易进行实时分析判断。一旦检测到异常，系统立即通知风控团队进行人工审核，有效保障了平台和用户的资金安全。

2. 电信网络质量监控与故障预测

电信运营商需要实时监控网络质量，确保用户的通信体验。Flink 的有状态计算在这一领域发挥着重要作用。通过对网络设备（如基站、交换机）产生的实时数据进行处理，Flink 能够跟踪设备的运行状态，包括信号强度、丢包率、延迟等指标。当某个设备的指标连续一段时间超出正常范围，Flink 可以基于历史状态数据预测可能出现的故障，并提前发出警报。例如，若基站的信号强度持续下降，且丢包率逐渐上升，Flink 可判断该基站可能即将出现故障，运营商便能及时安排维护人员进行检修，避免大面积通信中断，提升用户满意度。

3. 社交媒体的实时互动分析

社交媒体平台上，用户的点赞、评论、分享等互动行为源源不断。利用 Flink 的有状态计算，平台可以实时分析热门话题和趋势。比如，当某个话题标签在短时间内被大量用户提及，Flink 通过维护话题标签的提及次数、用户参与度等状态信息，能够快速识别该话题的热度上升趋势。同时，平台还可以根据用户的互动历史状态，为用户推荐可能感兴趣的内容或好友。例如，如果用户 A 经常点赞和评论关于科技领域的内容，Flink 可以基于其历史状态，向 A 推荐更多科技相关的热门话题和有相同兴趣的用户，增强用户粘性和平台活跃度。

目录CONTENT

Flink 中的有状态计算：原理与实践