我正在将基于 Makefile 的数据工作流转换为 dvc。我有一个 Google 电子表格,我在数据工作流程中使用它可以轻松更新临时数据库中的一些内容。目前这适用于这样的事情:
# Makefile
data.csv:
curl -L https://docs.google.com/spreadsheets/d/MY-GOOGLE-DOC-ID/export?exportFormat=csv > data.csv
当然,我可以使用 直接将相同的步骤合并到我的 dvc 管道中dvc run
,但我的理解是类似的东西dvc import-url
会更合适,但我收到了一个错误:
$ poetry run dvc import-url https://docs.google.com/spreadsheets/d/MY-GOOGLE-DOC-ID/export?exportFormat=csv data.csv
Importing 'https://docs.google.com/spreadsheets/d/MY-GOOGLE-DOC-ID/export?exportFormat=csv' -> 'data.csv'
ERROR: unexpected error - 'NoneType' object has no attribute 'endswith'
我的猜测是,这是因为来自 Google 电子表格导出 url 的响应数据没有与之关联的文件名后缀。有没有办法解决这个问题?有没有更好的方法将数据从谷歌电子表格中提取到 dvc 工作流程中?