问题标签 [s3cmd]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
5001 浏览

amazon-web-services - 从 S3 存储桶下载模式匹配条目

我有一个 S3 存储桶,其中存储了几个日志文件,格式为 index.log.yyyy-mm-dd-01 index.log.yyyy-mm-dd-02 。. .

yyyy 表示年份,mm 表示月份,dd 表示日期。

现在我只想下载其中的几个。我看到正在下载整个 S3 存储桶?. 如果我想下载整个存储桶,这篇文章的公认答案绝对可以正常工作,但是如果我想做一些模式匹配,我应该怎么做?我尝试了以下命令,但没有奏效:

我还尝试使用http://fosshelp.blogspot.in/2013/06文章的 POINT 7 和http://s3tools.org/s3cmd-sync使用 s3cmd 进行下载。以下是我运行的命令:

和一些更多的排列。

谁能告诉我为什么没有发生模式匹配?或者,如果我需要使用任何其他工具。

谢谢 !!

0 投票
1 回答
774 浏览

caching - 设置到期日期 S3 AWS 云前端,使用 s3cmd 更新

我已经为我的网站上传到 s3 图像,现在我想递归更新到期日期。

我使用了以下命令:

但是当我在 aws 控制台中查看图像时,它显示为指定的缓存控制设置的 Matadata,但到期日期仍设置为无。

我也试过:

再一次,这放置了过期的元数据,但图像仍然没有过期日期。

如何使用 s3cmd 工具修改所有文件以便有一个到期日期?

非常感谢任何建议。

0 投票
1 回答
139 浏览

git - 如何在 Git 中导入依赖项

我有一个项目,我想把它推到 Git 上。但是在本地,我的项目对 RDSCLI(Amazon RDS 命令行工具包)和 s3cmd 有一些依赖关系。那么我如何确保如果有人想使用我的项目不必费心下载这个软件,他可以直接运行我的项目而没有任何麻烦?有没有办法实现这一点,或者我需要在要求中提及这一点?

0 投票
1 回答
164 浏览

amazon-web-services - 在 AWS 中将多个文件从一个存储桶移动到另一个会返回错误:超时

我正在使用 s3cmd 将 5000 多个文件从一个存储桶复制到另一个存储桶中的文件夹。

像这样:

然而,这让我一直这样:

信息:正在检索 s3://dataloader.bucket/1111_stuff/ 的远程文件列表...
信息:摘要:要移动 5186 个远程文件
错误:超时

它卡住Retrieving list of remote files了很长一段时间,我从中得到的只是一个错误。

这是 AWS 方面的问题,还是我可以解决的问题?有没有其他方法可以做到这一点?

谢谢。

0 投票
1 回答
1479 浏览

multithreading - 如何使用 s3cmd 多线程?

我们的目标是从 AWS 下载大约 500 万个小文件到 CentOS 服务器。我们找到了 s3cmd 实用程序,它对几乎所有事情都非常有用。除了下载,因为它只支持一个线程:( 下载60天,这简直是疯了!

是否有任何新版本的 s3cmd 或其他方式以多线程模式下载所有文件?

0 投票
1 回答
300 浏览

amazon-s3 - 当我使用 `s3cmd` 食谱时,Chef 在做什么?

我正在使用 Chef 和这本 s3cmd 食谱

正如本教程所说,我使用knife它来下载和压缩它。我实际上s3cmd按照教程说明进行了工作,但是我无法理解安装的确切位置s3cmd

任何人都可以向我解释厨师在使用 s3cmd 食谱时在做什么吗?

0 投票
2 回答
5537 浏览

amazon-s3 - 用于在 S3 中恢复版本化已删除文件的命令行工具?

我在我的 S3 存储桶中启用了版本控制,如何使用命令行 S3 客户端(例如s3cmd )恢复已删除的文件?如何浏览不同版本的文件?到目前为止,我已经退回到免费软件 Cloudberry Windows 客户端来实现这一点。我知道我也可以使用Boto Python library,但我更喜欢一个通用的命令行工具。

0 投票
2 回答
1379 浏览

hadoop - 在 Hive 中,如何仅将部分原始数据加载到表中?

我有一个典型的CREATE TABLE陈述如下:

其中 /20140811/ 是一个目录,里面有千兆字节的数据。

加载东西不是问题。然而,查询它上面的任何东西都会让 Hive 窒息,并且只会给我一些MapRed错误。

所以相反,我想问一下是否有办法只加载/20140811/中的部分数据。我知道我可以从文件夹中选择一些文件,将它们转储到另一个文件夹中,然后使用它,但这似乎很乏味,尤其是当我有 20 个左右的 /20140811/ 目录时。

有没有这样的东西:

我也对非蜂巢式答案持开放态度。也许有一种方法s3cmd可以快速获取 /20140811/ 中的一定数量的数据,将其转储到 /20140811_halved/ 或其他东西中。

谢谢。

0 投票
2 回答
2232 浏览

amazon-s3 - 如何使用 s3cmd 即时上传压缩并上传到 s3

我刚刚发现我的盒子还剩下 5% 的 HDD 硬盘驱动器,我有将近 250GB 的 mysql bin 文件要发送到 s3。我们已经从 mysql 转移到 NoSQL,目前不使用 mysql。但是,我希望在迁移之前保留旧数据。

问题是我不能在将文件发送到那里之前循环压缩文件。所以我想我可以在发送之前即时 gzip,这样它就不会将压缩文件存储在 HDD 上。

为了测试这个命令,我在没有循环的情况下运行它,它没有发送任何东西,但也没有抱怨任何东西。有没有办法做到这一点?

操作系统是 ubuntu 12.04 s3cmd 版本是 1.0.0

谢谢你的建议。

0 投票
1 回答
529 浏览

amazon-web-services - S3 存储桶权限

我有一个带有策略的 s3 存储桶

一个cors配置

我和经过身份验证的用户的完全权限。

我之前使用过这些权限(通常只是策略上的 getObject)来设置存储桶以提供网站静态资产。当我通过 GUI 将文件上传到这些存储桶时,一切正常,我可以通过右键单击打开来查看图像。

但是,使用 s3cmd 和我的密钥和访问密钥与 s3cmd 同步,没有权限附加到存储桶内的文件。我无法查看或打开它们。

我错过了什么?