冰点博客

行动起来，活在当下

累计撰写 78 篇文章
累计创建 30 个标签
累计收到 0 条评论

目录CONTENT

最新文章

2025-05-01
Flink 容错配置：保障数据处理的稳定性与可靠性一、Flink 容错核心机制剖析 Flink 容错的核心依赖于检查点（Checkpoint）和保存点（Savepoint）机制。检查点是作业状态的定期快照，而保存点则是手动触发的、用于作业升级、迁移等场景的状态备份。这两种机制相互配合，为作业在故障后快速恢复提供保障。 1.1 检查点的实现原理检查
- 2025-05-01
- 21
- 0
- 0
2025-05-01
Flink 检查点持久化机制深度剖析 Flink 检查点的持久化主要依赖于状态后端（State Backend），状态后端决定了检查点数据的存储位置和存储方式。不同状态后端的持久化过程： 1. MemoryStateBackend 特点：这是 Flink 默认的状态后端，将状态数据和检查点数据存储在 TaskManager 的堆内存中
- 2025-05-01
- 18
- 0
- 0
2025-05-01
Flink的检查点机制是如何保证数据一致性的? 检查点（Checkpoint） Flink 容错机制的核心部分是对分布式数据流和算子状态绘制一致的快照。(可以理解为算子处理了相同的数据) 原理检查点是 Flink 容错机制的基础，它是应用程序在某一时刻的状态快照。在流处理过程中，Flink 会定期将每个算子的状态信息保存到可靠存储（如 HDFS
- 2025-05-01
- 7
- 0
- 0
2025-05-01
Flink 中的有状态计算：原理与实践一、理解 Flink 中的有状态计算在 Flink 的世界里，数据流可分为有界（bounded）和无界（unbounded）两种。有界数据流有明确的开始和结束，如一天内的电商订单数据；无界数据流则持续不断地产生，像网站的实时访问日志。有状态计算，简单来说，就是在处理数据流时，Flink 能够记住之
- 2025-05-01
- 19
- 0
- 0
2025-04-20
Flink 集群部署模式全解析：单机、本地、分离式与嵌入式的特点及应用场景在大数据处理领域，Apache Flink 凭借其强大的流处理和批处理能力备受青睐。而 Flink 集群的部署模式，是决定其性能、可扩展性和灵活性的关键因素。不同的部署模式适用于不同的业务场景和需求，下面将结合生动的架构图与实际案例，详细介绍单机模式、本地模式、分离式部署和嵌入式模式的特点、优缺点及
- 2025-04-20
- 19
- 0
- 0
2025-04-15
Kafka 入门必读：从定义到核心设计理念的深度解析前言在当今大数据与实时处理的时代浪潮下，Kafka 作为一款卓越的分布式流处理平台，正发挥着举足轻重的作用。身为架构师，深入掌握 Kafka 的核心概念与设计理念，是构建高效、可靠数据处理系统的关键所在。接下来，就让我们一同开启 Kafka 的探索之旅。一、Kafka 是什么 Kafka 传统上
- 2025-04-15
- 16
- 0
- 0
2025-04-15
kafka专题 Kafka 入门必读：从定义到核心设计理念的深度解析 Kafka 应用实战：五大典型场景及业务落地案例详解探秘 Kafka 架构：组件分工与协同工作机制全剖析 Topic、Partition、Segment：Kafka 数据模型的三位一体结构探秘 Kafka Producer 进阶：消息发送全流程
- 2025-04-15
- 35
- 0
- 0
2025-04-14
Kafka 架构设计权衡：分区数、副本因子与存储策略的选择逻辑在大数据领域，Apache Kafka 作为高吞吐量、分布式的消息队列系统，广泛应用于数据管道、实时流处理等场景。然而，在实际使用中，Kafka 的架构设计涉及诸多关键决策，其中分区数、副本因子与存储策略的选择，更是直接影响系统的性能、可靠性和资源利用率。作为资深架构师，本文将结合实际场景，深入剖析
- 2025-04-14
- 22
- 0
- 0
2025-04-04
kafka 专栏【基础架构篇】 Kafka 架构深度解析：从 Broker 到 Partition 的分布式设计原理【基础架构篇】 Producer 核心机制揭秘：消息路由、批量发送与可靠性保障【基础架构篇】 Consumer 消费模型全解析：拉取模式、位移管理与反压机制【高级特性篇】 Kafka 事务详解：
- 2025-04-04
- 22
- 0
- 0
2025-04-04
kafka 架构 1. Kafka 架构概览 Kafka 是一个分布式流处理平台，最初由 LinkedIn 开发并开源，旨在处理高吞吐量的实时数据流。Kafka 设计的核心理念是高可扩展性、高容错性以及高可用性，并且能够满足大规模系统的需求，特别是对于大数据平台、实时分析、日志聚合等场景。
- 2025-04-04
- 15
- 0
- 0

1
2
3
4
5
...
8