问题标签 [dvc]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
639 浏览

dvc - 禁止:调用 HeadObject 操作时发生错误(403):

我的 ~/.aws/credentials 看起来像

我添加我的遥控器喜欢

我已经让我的 .dvc/config.local 看起来像

但在跑步后dvc push -r myremote我仍然得到

错误:意外错误 - 禁止:调用 HeadObject 操作时发生错误 (403):禁止

** 这里更新是输出dvc push -v

我可以通过python上传

我不使用 aws CLI,但以下内容也给出了拒绝访问!

调用 ListObjectsV2 操作时发生错误 (AccessDenied):访问被拒绝

但如果我添加 --profile=testing 就可以了

前 dvc 测试/

只是您知道环境变量AWS_PROFILE已设置为“测试”

更新

我都试过了AWS_PROFILE='testing'AWS_PROFILE=testing它们都没有奏效。

在此处输入图像描述

0 投票
1 回答
207 浏览

amazon-s3 - DVC 连接 Min.IO 访问 S3

将 DVC 连接到连接到 S3 上某些存储桶的 Min.IO 的正确方法是什么。

现在我正在访问我的存储桶,例如使用 mcmc cp s3/my_bucket/datasets datasets从那里复制东西。但我需要设置我的 DVC 以使用 min.io 作为 AWS.S3 和 DVC 之间的集线器,以便我可以使用例如"DVC mc-S3 pull""DVC AWS-S3 pull".

我怎么得到它,因为在谷歌搜索时我找不到任何我可以轻松跟踪的东西。

0 投票
1 回答
85 浏览

python - dvc.api.read() 引发“UnicodeDecodeError”

我正在尝试访问 DICOM 文件 [以医学数字成像和通信 (DICOM) 格式保存的图像]:

当我运行前面的代码时,在“下载进度条”完成后,我收到以下错误:

我试图通过使用 encoding 参数来解决这个问题:

因为,当我使用例如 Notepad++ 打开一个 DICOM 文件时,这是指定的编码。但是,它会引发错误:

我也试过encoding = 'utf-8'了,但“UnicodeDecodeError”继续出现:

有人可以帮忙吗?谢谢。

0 投票
2 回答
57 浏览

python - 安装 DVC 低版本 [0.9.4] 时出现问题

我需要在 Python 虚拟环境中安装旧版本的 DVC,即 0.9.4。

我使用了命令:

一切似乎都运行良好。但是,当我尝试运行dvc pull命令时,出现以下错误:

当我打印 dvc 版本时,我看到:

有人可以帮忙吗?谢谢。

0 投票
2 回答
306 浏览

git - 错误:错误的 DVC 文件名 'my_server\models\*.tar.gz.dvc' 被 git 忽略

我刚开始使用 DVC。我有一个 git repo,其中有我想推送到 dvc 的重型模型。所以我初始化了dvc

然后配置桶

现在有/models文件夹,其中有.gitkeep文件和训练好的模型。以下条目在我的.gitignore

我运行了以下命令

并在.gitignore

我想添加所有tar.gz文件以推送 dvc

所以我尝试了

但这显示

如果我做 dvc 添加 ./my_server/models/

然后添加此文件夹并models.dvc创建一个文件。然后 git 代码显示更改。

什么是正确的方法,我还需要提及*.dvc.gitignore

0 投票
1 回答
212 浏览

dvc - DVC - 禁止:调用 HeadObject 操作时发生错误 (403)

我刚开始使用 DVC。以下是我在 S3 上推送模型的步骤

初始化

添加存储桶网址

添加一些文件

添加 aws 键

现在当我推

表明

我错过了什么吗?

更新1

的结果dvc doctor

dvc push-vv

0 投票
1 回答
43 浏览

dvc - 将连接数据存储在 git 中的默认 DVC 行为是什么?

我最近开始玩DVC ,看到入门文档建议存储.dvc/config在 git 中,我有点惊讶。

起初这似乎是个好主意,但后来我注意到我的 Azure Blob 存储帐户(即我的 Azure 用户名)也存储在 .dvc/config 中,这意味着它最终会存储在 git 中。使其不适合团队协作场景。

更不理想(阅读:真的很可怕)是使用输入的连接字符串dvc remote modify blah connection_string ....dvc/config以.

我在做一些明显错误的事情吗?我不希望入门文档深入探讨安全问题,但我也不希望它们将连接字符串存储在源代码管理中。

我的基本假设是我误解/错误配置了某些东西,我很想知道是什么。

0 投票
0 回答
27 浏览

machine-learning - 如何通过DVC跟踪存储在Gdrive中的大数据?

我目前正在从事 ML 项目,数据大小约为 10 GB。我存储在谷歌驱动器中的数据。我不可能在我的本地机器上下载它。那么,如何使用 DVC(数据版本控制)来跟踪该数据?提前感谢您的宝贵时间。

0 投票
1 回答
36 浏览

linux - DVC 共享 Windows 目录设置

我有一台 Linux 机器和一台 Windows 机器用于开发。对于数据共享,我们在另一台 Windows 机器上设置了一个共享的 Windows 目录,我的 Linux 和 Windows 都可以访问。

我现在使用DVC对共享数据进行版本控制。为了方便起见,我将共享的 Windows 文件夹安装在 Windows 和 Linux 开发机器中。在 Windows 中,它看起来像

在 Linux 中,它看起来像:

如您所见,Windows 和 Linux 具有不同的挂载点。所以我的问题是:有没有办法让 Windows 和 Linuxùrl在 DVC 配置文件中具有相同的功能?

如果这是不可能的,DVC 是否有另一种替代解决方案将数据保存在远程共享 Windows 文件夹中?谢谢。

0 投票
0 回答
36 浏览

python - DVC(数据版本控制)卡在终端中的“dvc add xxx”和“从工作区收集阶段”?

我用过 : dvc[webhdfs]==2.9.3,由安装pip install dvc[webhdfs]

然后这个 repo 已经被 git 克隆了。

我还输入了:dvc remote add -d storage webhdfs://xxx/dvcgit add .dvc/config

但是命令dvc add ./assets/xxx/*仍然卡住了......

命令行窗口不断显示:Collecting stages from the workspace