《Flink 内存管理》系列（已完结），共包含以下 4 篇文章：
- Flink 内存管理（一）：设置 Flink 进程内存
- Flink 内存管理（二）：JobManager 内存分配（含实际计算案例）
- Flink 内存管理（三）：TaskManager 内存分配（理论篇）
- Flink 内存管理（四）：TaskManager 内存分配（实战篇）
如果您觉得这篇文章有用 ✔️ 的话，请给博主一个一键三连吧 （点赞 、关注 、收藏 ）！！！您的支持将激励博主输出更多优质内容！！！
Flink 内存管理（一）：设置 Flink 进程内存
- 1.配置 Total Memory
- 2.JVM 参数
- 3.根据比例限制的组件（Capped Fractionated Components）
Apache Flink 通过严格控制各种组件的内存使用，在 JVM 上提供高效的工作负载。虽然社区努力为所有配置提供合理的默认值，但用户在 Flink 上部署的应用程序种类繁多，这意味着这并非总是可行。为了向用户提供最大的生产价值，Flink 允许对集群内的内存分配进行高级和精细调整。
1.配置 Total Memory
Flink JVM 进程的总内存 由 Flink 应用程序消耗的内存（Total Flink Memory）和 JVM 进程消耗的内存 组成。
在 Flink 中设置内存的最简单方法是配置以下两个选项之一：
| 组件 | Option for TaskManager | Option for JobManager |
|---|---|---|
| Total Flink memory | taskmanager.memory.flink.size | jobmanager.memory.flink.size |
| Total process memory | taskmanager.memory.process.size | jobmanager.memory.process.size |
- 其余内存组件将根据默认值或附加配置选项自动调整。
- 配置 Flink 总内存（
Total Flink Memory）更适合独立部署，因为在这种情况下，您需要声明给 Flink 本身分配多少内存。Flink 总内存分为 JVM 堆内存（JVM Heap）和 堆外内存（Off-heap Memory）。 - 如果配置总进程内存（
Total Process Memory），则表示应为 Flink JVM 进程分配多少内存。对于容器化部署，它对应于所请求容器的大小。
另一种设置内存的方法是配置总 Flink 内存所需的内部组件，这些组件针对具体的 Flink 进程。
必须使用上述三种方法之一配置 Flink 的内存（本地执行除外），否则 Flink 启动将失败。这意味着必须明确配置以下选项子集之一，这些子集没有默认值：
| for TaskManager | for JobManager |
|---|---|
taskmanager.memory.flink.size | jobmanager.memory.flink.size |
taskmanager.memory.process.size | jobmanager.memory.process.size |
taskmanager.memory.task.heap.size 和 taskmanager.memory.managed.size | jobmanager.memory.heap.size |
⭕ 不建议明确配置总的进程内存（
Total Process Memory）和总的 Flink 内存（Total Flink Memory）。这可能会因潜在的内存配置冲突而导致部署失败。配置其他内存组件也需要谨慎，因为可能会产生更多的配置冲突。
2.JVM 参数
Flink 在启动进程时，会根据配置或导出的内存组件大小，显式添加以下与内存相关的 JVM 参数。
| JVM 参数 | Value for TaskManager | Value for JobManager |
|---|---|---|
| -Xmx and -Xms | Framework + Task Heap Memory | JVM Heap Memory (Ⅰ) |
| -XX:MaxDirectMemorySize | Framework + Task Off-heap (Ⅱ) + Network Memory | Off-heap Memory (Ⅱ),(Ⅲ) |
| -XX:MaxMetaspaceSize | JVM Metaspace | JVM Metaspace |
- （Ⅰ）请记住，根据所使用的 GC 算法，您可能无法使用全部堆内存。有些 GC 算法会为自己分配一定量的堆内存。这将导致堆指标返回不同的最大值。
- （Ⅱ）请注意，用户代码中的本地非直接内存使用也可以作为堆外内存的一部分。
- （Ⅲ）只有设置了相应的
jobmanager.memory.enable-jvm-direct-memory-limit选项，才会为 JobManager 进程添加 JVM 直接内存限制。
3.根据比例限制的组件（Capped Fractionated Components）
本节将介绍一些选项的配置细节，这些选项可以是其他内存大小的一部分，同时受到 最小 – 最大范围 的限制，例如：
JVM Overhead可以是总进程内存的一部分。- 网络内存（
Network Memory）可以是 Flink 总内存的一部分（仅适用于 TaskManager）。
这些组件的大小必须始终介于最大值和最小值之间，否则 Flink 启动将失败。最大值和最小值都有默认值，也可以通过相关的设置来显式设置。
total Process memory= 1000MB1000MB 1000MBJVM Overhead min= 64MB64MB 64MBJVM Overhead max= 128MB128MB 128MBJVM Overhead fraction= 0.10.1 0.1
那么 JVM Overhead 将是 1000 M B×0.1 = 100 M B1000MB\ ×\ 0.1 = 100MB1000MB×0.1=100MB，在 64 − 128 M B64 – 128MB64−128MB 范围内。
请注意，如果配置相同的最大值和最小值，就会有效地将大小固定为该值。
如果没有明确配置组件内存，那么 Flink 将根据总内存使用比例来计算内存大小。计算值的上限为相应的最小/最大选项。例如，如果只设置了以下内存选项：
total Process memory= 1000MB1000MB 1000MBJVM Overhead min= 128MB128MB 128MBJVM Overhead max= 256MB256MB 256MBJVM Overhead fraction= 0.10.1 0.1
那么 JVM Overhead 将为 128 M B128MB128MB，因为根据比例得出的大小为 100 M B100MB100MB，小于最小值。
如果定义了总内存及其他组件的大小，比例也可能被忽略。在这种情况下，JVM Overhead 就是总内存的其余部分。导出值仍必须在最小/最大范围内，否则配置将失败。例如，假设只设置了以下内存选项：
total Process memory= 1000MB1000MB 1000MBtask heap= 100MB100MB 100MBJVM Overhead min= 64MB64MB 64MBJVM Overhead max= 256MB256MB 256MBJVM Overhead fraction= 0.10.1 0.1
进程内存总量的所有其他部分都有默认值，包括默认 Managed Memory 分数（或 JobManager 中的 Off-heap Memory）。这样，JVM Overhead 就不是比例（ 1000 M B × 0.1 = 100 M B1000MB × 0.1 = 100MB1000MB×0.1=100MB），而是总进程内存的其余部分，要么在 64 − 256 M B64 – 256MB64−256MB 范围内，要么失败。