问题标签 [google-cloud-vertex-ai]

我正在构建一个包含以下训练步骤的管道：

如文档中所述，为管道步骤指定机器类型

使用 Vertex AI 管道执行时，我无法访问请求的 GPU 并收到以下错误：

如何获取有关可用于 Vertex AI 管道的 GPU 机器的信息？我想避免使用发送培训作业的组件。

谢谢

我在 Vertex AI 中有一个模型，从日志看来，Vertex AI 已将日志摄取到message字段内的jsonPayload字段中，但我想构造该jsonPayload字段，使每个键message都成为其中的一个字段jsonPayload，即：展平/提取message

我有大约 500 个时间序列数据集，为期 2.5 年，每个系列的粒度为 1 天。这相当于大约 100 万个数据点。我想为每个时间序列以 1 天的粒度预测 2 周。这 500 个时间序列之间可能存在相关性。在确保我拥有每个时间戳的数据之后，我们将这些 (500) 个时间序列提供给 autoML，其中每个时间序列都由“序列标识符”标识。因此，我们对 autoML（预测）的输入是时间戳、系列标识符、特征和目标值。我有 30 个特征，它们是分类和数字的组合。使用这种设置，如果我向 autoML 提供数据，训练需要 20 多个小时，这对我来说并不划算。

请帮我优化这个。

我正在尝试创建一个 python 实用程序，它将从顶点 ai 数据集中获取数据集，并为该数据集生成统计信息。但我无法使用 jupyter notebook 检查数据集。有没有办法解决这个问题？

是否可以使用 VertexAI 自定义容器模型构建来训练 spark/pyspark ML lib 模型？我在顶点 ai 文档中找不到关于火花模型训练的任何参考资料。对于分布式处理模型构建，唯一可用的选项是 PyTorch 或 TensorFlow。

我想用 Google 的 AutoML 训练一个 NLP 分类模型。模型的输入是表格数据和一个文本字段，这是分类任务的主要字段。如果没有表格数据，分类错误会变得很大。我知道这可以通过使用 Keras 或 PyTorch 的自定义模型来完成。可以使用 Google 的 AutoML 完成吗？

我刚刚在 Google vertex AI 上部署了一个 ML 模型，它可以使用 vertex AI Web 界面进行预测。但是是否可以从浏览器发送请求，例如，发送到这个部署的模型。就像是

并将预测作为输出。谢谢

我已经在 Vertex AI Endpoint 中部署了一个模型，并且能够通过传递预处理的特征向量来获得预测。

我还想在模型旁边部署预处理代码。如何包装或部署预处理逻辑。

我们已经在 Vertex AI 端点中部署了模型。现在我们想了解和解释有关节点创建、POD 创建、用户 API 调用矩阵等事件的日志。

有什么方法或关键字可以过滤分析日志吗？

我正在尝试在 VertexAI 上运行自定义训练作业。目标是训练模型，将模型保存到云存储，然后将其作为 VertexAI 模型对象上传到 VertexAI。当我从本地工作站运行作业时，它会运行，但是当我从 Cloud Scheduler 运行作业时，它会失败。详情如下。

该工作的 Python 代码：

从本地工作站运行： 我将 GOOGLE_APPLICATION_CREDENTIALS 环境变量设置为指向我在本地工作站上下载的 Compute Engine 默认服务帐户密钥的位置。我还将 AIP_MODEL_DIR 环境变量设置为指向云存储桶。运行脚本后，我可以看到在云存储桶中创建了 model.pkl 文件，并在 VertexAI 中创建了模型对象。

从 Cloud Scheduler 触发训练作业： 这是我最终想要实现的目标 - 从 Cloud Scheduler 定期运行自定义训练作业。我已将上面的 python 脚本转换为 docker 映像并上传到 google artifact registry。Cloud Scheduler 的作业规范如下，如果需要，我可以提供更多详细信息。服务帐户电子邮件oauth_token与我用来设置 GOOGLE_APPLICATION_CREDENTIALS 环境变量的键相同。当我运行它时（从本地工作站或直接在 VertexAI 笔记本中），我可以看到创建了 Cloud Scheduler 作业，它不断触发自定义作业。自定义作业能够训练模型并将其保存到云存储中。但是，它无法将其上传到 VertexAI，并且我收到错误消息，status = StatusCode.PERMISSION_DENIED并且{..."grpc_message":"Request had insufficient authentication scopes.","grpc_status":7}。无法弄清楚身份验证问题是什么，因为在这两种情况下我都使用相同的服务帐户。