问题标签 [dvc]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
dvc - 禁止:调用 HeadObject 操作时发生错误(403):
我的 ~/.aws/credentials 看起来像
我添加我的遥控器喜欢
我已经让我的 .dvc/config.local 看起来像
但在跑步后dvc push -r myremote
我仍然得到
错误:意外错误 - 禁止:调用 HeadObject 操作时发生错误 (403):禁止
** 这里更新是输出dvc push -v
我可以通过python上传
我不使用 aws CLI,但以下内容也给出了拒绝访问!
调用 ListObjectsV2 操作时发生错误 (AccessDenied):访问被拒绝
但如果我添加 --profile=testing 就可以了
前 dvc 测试/
只是您知道环境变量AWS_PROFILE
已设置为“测试”
更新
我都试过了AWS_PROFILE='testing'
,AWS_PROFILE=testing
它们都没有奏效。
amazon-s3 - DVC 连接 Min.IO 访问 S3
将 DVC 连接到连接到 S3 上某些存储桶的 Min.IO 的正确方法是什么。
现在我正在访问我的存储桶,例如使用 mcmc cp s3/my_bucket/datasets datasets
从那里复制东西。但我需要设置我的 DVC 以使用 min.io 作为 AWS.S3 和 DVC 之间的集线器,以便我可以使用例如"DVC mc-S3 pull"
和"DVC AWS-S3 pull"
.
我怎么得到它,因为在谷歌搜索时我找不到任何我可以轻松跟踪的东西。
python - dvc.api.read() 引发“UnicodeDecodeError”
我正在尝试访问 DICOM 文件 [以医学数字成像和通信 (DICOM) 格式保存的图像]:
当我运行前面的代码时,在“下载进度条”完成后,我收到以下错误:
我试图通过使用 encoding 参数来解决这个问题:
因为,当我使用例如 Notepad++ 打开一个 DICOM 文件时,这是指定的编码。但是,它会引发错误:
我也试过encoding = 'utf-8'
了,但“UnicodeDecodeError”继续出现:
有人可以帮忙吗?谢谢。
python - 安装 DVC 低版本 [0.9.4] 时出现问题
我需要在 Python 虚拟环境中安装旧版本的 DVC,即 0.9.4。
我使用了命令:
一切似乎都运行良好。但是,当我尝试运行dvc pull
命令时,出现以下错误:
当我打印 dvc 版本时,我看到:
有人可以帮忙吗?谢谢。
git - 错误:错误的 DVC 文件名 'my_server\models\*.tar.gz.dvc' 被 git 忽略
我刚开始使用 DVC。我有一个 git repo,其中有我想推送到 dvc 的重型模型。所以我初始化了dvc
然后配置桶
现在有/models
文件夹,其中有.gitkeep
文件和训练好的模型。以下条目在我的.gitignore
我运行了以下命令
并在.gitignore
我想添加所有tar.gz
文件以推送 dvc
所以我尝试了
但这显示
如果我做 dvc 添加 ./my_server/models/
然后添加此文件夹并models.dvc
创建一个文件。然后 git 代码显示更改。
什么是正确的方法,我还需要提及*.dvc
吗.gitignore
?
dvc - DVC - 禁止:调用 HeadObject 操作时发生错误 (403)
我刚开始使用 DVC。以下是我在 S3 上推送模型的步骤
初始化
添加存储桶网址
添加一些文件
添加 aws 键
现在当我推
表明
我错过了什么吗?
更新1
的结果dvc doctor
和dvc push-vv
dvc - 将连接数据存储在 git 中的默认 DVC 行为是什么?
我最近开始玩DVC ,看到入门文档建议存储.dvc/config
在 git 中,我有点惊讶。
起初这似乎是个好主意,但后来我注意到我的 Azure Blob 存储帐户(即我的 Azure 用户名)也存储在 .dvc/config 中,这意味着它最终会存储在 git 中。使其不适合团队协作场景。
更不理想(阅读:真的很可怕)是使用输入的连接字符串dvc remote modify blah connection_string ...
也.dvc/config
以.
我在做一些明显错误的事情吗?我不希望入门文档深入探讨安全问题,但我也不希望它们将连接字符串存储在源代码管理中。
我的基本假设是我误解/错误配置了某些东西,我很想知道是什么。
machine-learning - 如何通过DVC跟踪存储在Gdrive中的大数据?
我目前正在从事 ML 项目,数据大小约为 10 GB。我存储在谷歌驱动器中的数据。我不可能在我的本地机器上下载它。那么,如何使用 DVC(数据版本控制)来跟踪该数据?提前感谢您的宝贵时间。
linux - DVC 共享 Windows 目录设置
我有一台 Linux 机器和一台 Windows 机器用于开发。对于数据共享,我们在另一台 Windows 机器上设置了一个共享的 Windows 目录,我的 Linux 和 Windows 都可以访问。
我现在使用DVC对共享数据进行版本控制。为了方便起见,我将共享的 Windows 文件夹安装在 Windows 和 Linux 开发机器中。在 Windows 中,它看起来像
在 Linux 中,它看起来像:
如您所见,Windows 和 Linux 具有不同的挂载点。所以我的问题是:有没有办法让 Windows 和 Linuxùrl
在 DVC 配置文件中具有相同的功能?
如果这是不可能的,DVC 是否有另一种替代解决方案将数据保存在远程共享 Windows 文件夹中?谢谢。
python - DVC(数据版本控制)卡在终端中的“dvc add xxx”和“从工作区收集阶段”?
我用过 : dvc[webhdfs]==2.9.3
,由安装pip install dvc[webhdfs]
然后这个 repo 已经被 git 克隆了。
我还输入了:dvc remote add -d storage webhdfs://xxx/dvc
和git add .dvc/config
但是命令dvc add ./assets/xxx/*
仍然卡住了......
命令行窗口不断显示:Collecting stages from the workspace