1

将 DVC 连接到连接到 S3 上某些存储桶的 Min.IO 的正确方法是什么。

AWS-S3(My_Bucket) > Min.io(MY_Bucket aliased as S3)

现在我正在访问我的存储桶，例如使用 mcmc cp s3/my_bucket/datasets datasets从那里复制东西。但我需要设置我的 DVC 以使用 min.io 作为 AWS.S3 和 DVC 之间的集线器，以便我可以使用例如"DVC mc-S3 pull"和"DVC AWS-S3 pull".

我怎么得到它，因为在谷歌搜索时我找不到任何我可以轻松跟踪的东西。

4

1 回答 1

2

看起来您正在寻找事物的组合。

首先，Jorge 提到您可以endpointurl像访问常规 S3 一样设置访问 Minio：

dvc remote add -d minio-remote s3://mybucket/path
dvc remote modify minio-remote endpointurl https://minio.example.com

其次，您似乎可以创建两个遥控器 - 一个用于 S3，一个用于 Minio，并使用-r可用于许多数据管理相关命令的选项：

dvc pull -r minio-remote
dvc pull -r s3-remote
dvc push -r minio-remote
...

这样你就可以push/pull数据到/从一个特定的存储。

但我需要设置我的 DVC 以使用 min.io 作为 AWS.S3 和 DVC 之间的集线器

我认为还有其他可能的方式来组织这个。这确实取决于您期望的语义DVC mc-S3 pull。-r如果还不够，请告诉我们并澄清问题——这将对我们有所帮助。

于 2021-07-28T23:03:26.643 回答