1

我已经在 AWS ECS 中部署了自己的 flink 设置。一项服务用于 JobManager,一项服务用于任务管理器。我正在为作业管理器运行一项 ECS 任务,为 TASK 管理器运行 3 个 ecs 任务。

我有一种批处理作业,我每天使用 flink rest 上传并更改新参数,当我每次提交磁盘内存增加约 600MB 时,我将检查点设置为 S3 。我还设置了historyserver.archive.clean-expired-jobs true 。

由于我在 ECS 上运行,因此无法找到每次 jar 上传和执行时内存增加的原因。

我应该查看哪些 flink 配置参数以确保每次上传新作业时内存都不会增加?

4

1 回答 1

0

试试这个配置。blob.service.cleanup.interval:

https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#blob-service-cleanup-interval

historyserver.archive.retained-jobs: https ://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#historyserver-archive-retained-jobs

于 2021-11-22T05:09:42.327 回答