在我的 Argo 工作流程步骤之一中,Docker 容器将一个大文件拆分为多个小文件。
这些教程展示了如何通过一次检查每个输出将少量和预定数量的输出(例如,2 或 3 个)保存为 S3 存储桶中的工件。
在我的用例中,我事先不知道会创建多少个小文件;它可以达到数百个。即使我知道提前创建了多少个较小的文件,大量的输出文件也很难遵循教程并一一指定。
有没有办法将所有输出保存到 S3 存储桶?
在我的 Argo 工作流程步骤之一中,Docker 容器将一个大文件拆分为多个小文件。
这些教程展示了如何通过一次检查每个输出将少量和预定数量的输出(例如,2 或 3 个)保存为 S3 存储桶中的工件。
在我的用例中,我事先不知道会创建多少个小文件;它可以达到数百个。即使我知道提前创建了多少个较小的文件,大量的输出文件也很难遵循教程并一一指定。
有没有办法将所有输出保存到 S3 存储桶?
这听起来像是标准输出工件。您可以将所有文件放在一个目录中,然后将该目录作为输出工件。
以下是一些可以帮助您的示例:
https://argoproj.github.io/argo-workflows/examples/#artifacts