google-ai-platform - 如何扩展 kubeflow 管道（使用顶点 ai），或者它只是自动完成

Question

我正在运行一个包含不同组件的 kubeflow 管道，用于数据预处理、训练等阶段。

我知道我可以为每个阶段（组件）使用特定的图像。（例如不使用或使用 gpu 进行训练的图像。

我的问题是如何设置管道以针对不同阶段（组件）进行扩展？

或者它只是自动完成

谢谢。

Answer 1

由于容器化，在每个组件（步骤）上分配的资源量受限于运行它的资源。
对于管道中使用的 GCP 产品（例如 Dataflow、AutoML），资源会根据该产品的可扩展性自动扩展。
可以创建自定义组件，为此 Vertex AI 允许您为每个步骤选择资源量（例如机器类型、CPU 限制、GPU 限制） 。对于自定义培训，您还可以选择更多选项以创建更高效​​的流程。