airflow - 使用 python 脚本的 Airflow-Trigger 作业

Question

我有基于类别的 dags 列表。这些 dag 应该根据类别的优先级从 master dag 调用（以避免资源限制）。

我的想法是创建一个 python 脚本，其中应该根据我们在元数据表中设置的优先级（而不是基于时间）触发这些类别 dag。这个 python 脚本将在 master dag 中使用 bashoperator 调用。

需要明确的是，Master dag 应该是基于时间的。子 dag 应根据优先级从 master 触发。

我的问题是..

1）dag可以用python触发吗？没有时间依据。2）我想并行运行几个类别 dag。如何做到这一点。请帮我解决这个问题。

Answer 1

您可以使用TriggerDagRunOperator并设置用于实现该目标priority_weight的每个任务。TriggerDagRunOperator

TriggerDagRunOperator：触发指定的 DAG 运行dag_id

priority_weight (int) - 此任务相对于其他任务的优先权权重。这允许执行者在事情得到备份时在其他人之前触发更高优先级的任务。对于更重要的任务，将 priority_weight 设置为更大的数字。