问题标签 [awss3transfermanager]

我在我的 iOS 应用程序中使用 AWS S3TransferUtility 的uploadUsingMultipart(fileURL, bucket, ...)函数将视频文件上传到 S3 存储桶。只要应用程序处于前台，上传就会非常快。但是一旦应用程序进入后台，上传过程就会非常缓慢，并且需要花费太多时间才能完成。

例如，我在 Internet 连接上使用 100 MB 文件进行测试，上传速度为 10 Mbps，当应用程序在前台时使用 multipart 上传需要 35 秒，但使用 multipart 上传相同文件需要 14 分 40 秒该应用程序在后台。

有没有办法在后台加快上传过程？

我们有一项功能，最终用户可以在其中以 ZIP 格式下载数千张照片（例如 4-5k）。我们使用 S3 来存储照片。因此，用户单击“下载”按钮，然后 ZIP 文件开始下载。后端代码如下（只是代码片段）

Maven 依赖

问题是我们低于异常

虽然我们正在关闭文件对象，但不知道为什么在下载过程中连接保持打开状态。

帮助：|

我正在使用https://www.npmjs.com/package/s3包从 s3 下载文件夹，但我找不到任何方法来取消下载或中断下载过程。

那么如何中断正在进行的下载或停止下载过程呢？对提供此功能的软件包有什么建议吗？

文件夹大小高达 10GB，文件夹包含 1000 个文件，因此它为同一文件夹创建多个请求。

I have a bucket bucket_a and trying to copy the content of this bucket into another bucket bucket_b but it is taking huge time to copy the objects from a folder folder_a of bucket bucket_a to folder_a of bucket bucket_b as there are nearly 9k objects in each folder with size 600MB each and I have 20 folders like that.

I tried accelerate option of bucket and used cp command of aws cli and it looks like it will take another 2-3 days to copy the contents.

我想在将文件上传到 S3 时将标签添加到文件中。Boto3 支持使用 put_object 方法指定标签，但是考虑到预期的文件大小，我正在使用处理分段上传的 upload_file 函数。但是此函数拒绝将“标记”作为关键字参数。

我找到了一种通过直接使用 S3 传输管理器并修改允许的关键字列表来完成这项工作的方法。

尽管这可行，但我认为这不是最好的方法。它可能会产生其他副作用。目前我无法找到正确的方法来实现这一点。任何建议都会很棒。谢谢。

我正在 AWSS3 服务器中上传图像之类的文件，但无法取消请求。

我试图在上传任务开始后取消请求。我正在使用task.result.cancel()方法来取消任务。

我只想取消请求，文件不会上传到服务器上。

我正在尝试使用 aws SDK 和 spark 使用 aws 分段上传，文件大小约为 14GB，但出现内存不足错误。它在这一行给出错误 -val bytes: Array[Byte] = IOUtils.toByteArray(is)

我尝试将驱动程序内存和执行程序内存提高到 100 G，并尝试了其他一些 spark 优化。

下面是我正在尝试的代码：-

这是我得到的例外：-

我无法找到 AWS C++ SDK 传输管理器的工作示例。AWS 提供的示例在 Ubuntu 18.04 上使用 GCC 7.0.4 编译失败它有很多错误，首先是没有 TransferManagerConfiguration 的默认构造函数。

我实际上是在尝试找到某种方法来使用 C++ SDK 获取大于 2GB 的对象。我可以用其他语言这样做。我正试图让转移经理工作，看看是否能解决这个问题。但我无法获取 Amazon 提供的示例代码以在 Windows 或 Linux 上构建。该示例来自他们的“准备生产”博客文章。

我希望它能够构建和上传文件。

突然间我无法从 spark 读取 hive 外部 s3 表，我注意到在几个分区下创建了子文件夹。

我希望可以配置任何参数或设置，这样 Hadoop 就不会创建这些子文件夹。

当我从 s3 手动删除子文件夹时，我可以读取表。但需要找到一种方法，以便将来不会随机创建这些子文件夹。

当我运行select *查询时，我得到：

错误：java.io.IOException：不是文件：s3://my_path/partition_source_id=11/1 1 条语句失败。

我有一个非常大的文件（估计 50MB）。我将此文件上传到 S3 目录，然后触发 Lambda 函数。我正在使用 TransferManager 进行 S3 上传。

我阅读了有关 Lambda 和 S3 的 AWS 文档，它说在 S3 中创建文件时会触发 Lambda 函数，但我仍然想知道创建的文件是否意味着文件已完全上传。

我的问题：由于文件很大，上传会有一点延迟，那么Lambda函数是在文件完全上传之前还是之后触发的？比如：上传大文件的过程中，网络被关闭，文件可能坏了，Lambda函数还会被触发吗？