Flink大数据量调优思路总结（二）

数据与算法架构提升之路

已于 2024-12-02 18:00:13 修改

阅读量939

点赞数

CC 4.0 BY-SA版权

分类专栏： # Flink 文章标签： java flink

于 2023-04-10 12:44:46 首次发布

本文链接：https://blog.csdn.net/lzhcoder/article/details/129946165

Flink 专栏收录该内容

40 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文详细总结了Flink大数据量处理的调优思路，包括JVM内存、Flink内存、Netty、Akka、并行度、对象重用、Checkpoint、网络内存、限制条件等多方面的优化策略，旨在提升Flink作业的性能和稳定性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Network Communication (via Netty)

透支缓冲区（Overdraft buffers）

Tuning Block/Block Cache

一、JVM内存参数调优

Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。

监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。

GC的配置：在客户端的"conf/flink-conf.yaml"配置文件中，在“env.java.opts”配置项中添加参数：-Xloggc:<LOG_DIR>/gc.log

-XX:+PrintGCDetails -XX:-OmitStackTraceInFastThrow -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfG

了解本专栏

超级会员免费看