问题标签 [s3cmd]

我有一个 S3 存储桶，其中存储了几个日志文件，格式为 index.log.yyyy-mm-dd-01 index.log.yyyy-mm-dd-02 。. .

yyyy 表示年份，mm 表示月份，dd 表示日期。

现在我只想下载其中的几个。我看到正在下载整个 S3 存储桶？. 如果我想下载整个存储桶，这篇文章的公认答案绝对可以正常工作，但是如果我想做一些模式匹配，我应该怎么做？我尝试了以下命令，但没有奏效：

我还尝试使用http://fosshelp.blogspot.in/2013/06文章的 POINT 7 和http://s3tools.org/s3cmd-sync使用 s3cmd 进行下载。以下是我运行的命令：

和一些更多的排列。

谁能告诉我为什么没有发生模式匹配？或者，如果我需要使用任何其他工具。

谢谢 ！！

我已经为我的网站上传到 s3 图像，现在我想递归更新到期日期。

我使用了以下命令：

但是当我在 aws 控制台中查看图像时，它显示为指定的缓存控制设置的 Matadata，但到期日期仍设置为无。

我也试过：

再一次，这放置了过期的元数据，但图像仍然没有过期日期。

如何使用 s3cmd 工具修改所有文件以便有一个到期日期？

非常感谢任何建议。

我有一个项目，我想把它推到 Git 上。但是在本地，我的项目对 RDSCLI（Amazon RDS 命令行工具包）和 s3cmd 有一些依赖关系。那么我如何确保如果有人想使用我的项目不必费心下载这个软件，他可以直接运行我的项目而没有任何麻烦？有没有办法实现这一点，或者我需要在要求中提及这一点？

我正在使用 s3cmd 将 5000 多个文件从一个存储桶复制到另一个存储桶中的文件夹。

像这样：

然而，这让我一直这样：

信息：正在检索 s3://dataloader.bucket/1111_stuff/ 的远程文件列表...
信息：摘要：要移动 5186 个远程文件
错误：超时

它卡住Retrieving list of remote files了很长一段时间，我从中得到的只是一个错误。

这是 AWS 方面的问题，还是我可以解决的问题？有没有其他方法可以做到这一点？

谢谢。

我们的目标是从 AWS 下载大约 500 万个小文件到 CentOS 服务器。我们找到了 s3cmd 实用程序，它对几乎所有事情都非常有用。除了下载，因为它只支持一个线程:( 下载60天，这简直是疯了！

是否有任何新版本的 s3cmd 或其他方式以多线程模式下载所有文件？

我正在使用 Chef 和这本 s3cmd 食谱。

正如本教程所说，我使用knife它来下载和压缩它。我实际上s3cmd按照教程说明进行了工作，但是我无法理解安装的确切位置s3cmd？

任何人都可以向我解释厨师在使用 s3cmd 食谱时在做什么吗？

我在我的 S3 存储桶中启用了版本控制，如何使用命令行 S3 客户端（例如s3cmd ）恢复已删除的文件？如何浏览不同版本的文件？到目前为止，我已经退回到免费软件 Cloudberry Windows 客户端来实现这一点。我知道我也可以使用Boto Python library，但我更喜欢一个通用的命令行工具。

我有一个典型的CREATE TABLE陈述如下：

其中 /20140811/ 是一个目录，里面有千兆字节的数据。

加载东西不是问题。然而，查询它上面的任何东西都会让 Hive 窒息，并且只会给我一些MapRed错误。

所以相反，我想问一下是否有办法只加载/20140811/中的部分数据。我知道我可以从文件夹中选择一些文件，将它们转储到另一个文件夹中，然后使用它，但这似乎很乏味，尤其是当我有 20 个左右的 /20140811/ 目录时。

有没有这样的东西：

我也对非蜂巢式答案持开放态度。也许有一种方法s3cmd可以快速获取 /20140811/ 中的一定数量的数据，将其转储到 /20140811_halved/ 或其他东西中。

谢谢。

我刚刚发现我的盒子还剩下 5% 的 HDD 硬盘驱动器，我有将近 250GB 的 mysql bin 文件要发送到 s3。我们已经从 mysql 转移到 NoSQL，目前不使用 mysql。但是，我希望在迁移之前保留旧数据。

问题是我不能在将文件发送到那里之前循环压缩文件。所以我想我可以在发送之前即时 gzip，这样它就不会将压缩文件存储在 HDD 上。

为了测试这个命令，我在没有循环的情况下运行它，它没有发送任何东西，但也没有抱怨任何东西。有没有办法做到这一点？

操作系统是 ubuntu 12.04 s3cmd 版本是 1.0.0

谢谢你的建议。

我有一个带有策略的 s3 存储桶

一个cors配置

我和经过身份验证的用户的完全权限。

我之前使用过这些权限（通常只是策略上的 getObject）来设置存储桶以提供网站静态资产。当我通过 GUI 将文件上传到这些存储桶时，一切正常，我可以通过右键单击打开来查看图像。

但是，使用 s3cmd 和我的密钥和访问密钥与 s3cmd 同步，没有权限附加到存储桶内的文件。我无法查看或打开它们。

我错过了什么？