python - Luigi Visualiser 将作业保留一天

Question

我一直在尝试在调用运行时将 --scheduler-remove-delay 参数添加到作业中，并且在 client.cfg 中我添加了 remove-delay 属性

[调度程序] record_task_history = True 删除延迟 = 86400.0

但这些似乎都不起作用。有任何想法吗？

这里已经有一个几乎类似的问题 -

在 Luigi Visualiser 中持久化已完成的流水线

Answer 1

在https://github.com/spotify/luigi/issues/2133下修复的文档中有一个错字（“remove-delay”而不是 remove_delay“）

您需要将以下内容放入配置文件中：

[scheduler]
record_task_history = True
state_path = /x/s/hadoop/luigi/var/luigi-state.pickle
remove_delay = 86400