问题标签 [awss3transfermanager]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java - 使用 AWS Java S3 SDK TransferManager 从 SFTP 流恢复上传
目前,我正在使用 Java 的 S3 SDK 中的 AWS 的 TransferManager 触发从 SFTP 服务器到 S3 的上传。我触发此上传的方式如下:
(伪代码...)
这是 的定义SftpStream
:
}
这种上传方法效果很好。但是,如果分段上传在中间被暂停/取消/以其他方式中止,我们希望从中断的地方继续,而不是重新开始。我们知道 TransferManagersresumeUpload
方法需要一个PersistableUpload
.
但是,在 javadoc 中PersistableUpload
,它期望file
在构造函数中传递一个路径,然后尝试从中创建一个File
对象:
https ://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws /services/s3/transfer/PersistableUpload.html
我们想知道的是,在没有这个文件对象的情况下是否可以恢复上传,我们无法从我们的ChannelSftp
. 也就是说,我们可以从流而不是文件恢复上传吗?或者我们是否必须切换到使用低级 s3 api 来执行这样的恢复。任何建议表示赞赏。
编辑 - 进行了更多研究,甚至为已经存在的上传传递了 UploadId,如果没有文件,doUpload 方法将抛出异常。有任何想法吗?
amazon-web-services - 如何增加 AWS-S3 存储中的执行超时
上传较大尺寸的视频时,S3 存储在 50 分钟后超时,并引发以下错误。我们已尝试将 AWSS3TransferUtilityTimeoutIntervalForResource 更改为 50 分钟以上,但仍然无法正常工作。请让我们知道如何增加 SDK 文件的 execution_timeout。
NSURLErrorDomain 错误 -1001
amazon-web-services - 使用 TransferManager AWS S3 使用 SSE-C 下载目录
我在存储桶上有一个目录S3
,其中包含多个文件,以前我用这样的方式下载整个TransferManager
目录
但现在我需要下载这个,SSE-C
因为它们是加密的。
经过研究,我知道我只能使用 SSE-C 下载单个文件,而不能v1
下载AWS SDK
.
有什么解决方法可以做到这一点吗?
或者我应该下载该目录中的每个文件(在我看来,这对我来说不是一个有效的解决方案)?
提前致谢!
aws-lambda - AWS S3 存储桶 - 使用 Python lamda 将所有 xmls 文件从一个 S3 存储桶移动到另一个 S3 存储桶
就我而言,我想从我的 s3bucket/ 解析中读取所有 XML,然后将所有解析的文件移动到同一个 s3Bucker/
对我来说,解析逻辑工作正常,但我无法移动所有文件。这是我尝试使用的示例
上面的代码根本不适合我(我必须授予 s3 文件夹完全访问权限,并且还必须对给定的公共完全访问权限进行测试)。
谢谢
amazon-s3 - 将 AWS S3 TransferManager 与 MultipartUpload 和 S3ProgressListener 用于 ResumableTransfer 时打开的进程过多
我们已经使用 MultipartUpload 和 ResumableTransfer 实现了 AWS TransferManager 用于文件上传。
按照以下方式实施解决方案:
https ://aws.amazon.com/blogs/developer/pausing-and-resuming-transfers-using-transfer-manager/
https://docs.aws.amazon.com/sdk- for-java/v1/developer-guide/examples-s3-transfermanager.html
https://aws.amazon.com/blogs/mobile/pause-and-resume-amazon-s3-transfers-using-the-aws-mobile -sdk-for-android/
在没有 MultipartUpload 和 ResumableTransfer 的情况下上传文件时,进程计数得到了很好的控制,但在我们实施上述方法后开始呈指数增长。
下面的示例代码:
看看是否有人遇到过类似的问题以及有关此问题的任何意见
java - Amazon S3 Transfer Manager 目录上传 - 哈希
目前,我们通过在上传请求中添加 MD5 哈希来验证我们的文件传输来实现 S3 单个文件上传。但现在我们想利用 AWS S3 Transfer Manager 进行目录上传。那么,现在如何检查上传的文件夹/文件的哈希值?
我已经浏览了 Transfer Manager 上提供的文档,但找不到任何关于 Hashes 的信息。
java - AWS - 将目录从远程共享上传到 S3
我们知道 AWS 传输管理器能够将目录复制到 s3。但是,我们是否可以使用 Java 应用程序从远程 SMBV2 共享的文件夹中复制?我们使用 smbj 的 java 库https://github.com/hierynomus/smbj访问该共享。
我能够通过逐个文件读取目录文件来实现单个文件上传。但希望我利用 Transfer Manager 目录上传。那么,是否可以使用 Transfer Manager 将远程共享上的目录复制到 s3?
amazon-s3 - Java AWS SDK v1 - S3 API - 无法使用 multipart api 并行上传多个文件
我有 5 个大小为 200 MB 的文件。我正在使用 Executor 服务并行上传这些文件,并使用具有多部分阈值 = 50 MB 的 TransferManager 并通过使用对 upload.waitForCompletion() 的阻塞方法调用等待上传完成(这表示当前线程暂停,直到上传成功或引发错误)。
请在下面找到代码摘录:
在所有 5 个文件都出现“成功上传”之前,主线程不会退出。现在这个程序不会抛出任何错误并为所有 5 个文件打印成功,但是当我在 aws 控制台中打开存储桶时,什么都没有。
谁能建议这里可能发生的事情或如何进一步调试它?
node.js - 使用 NodeJS 创建 AWS S3 对象生命周期
使用 NodeJS 创建 AWS S3 对象生命周期。
我想使用 NodeJS 通过 API 创建 S3 对象生命周期。当我看到文档时,AWS 只提供了多个对象生命周期,使用 Java。
https://docs.aws.amazon.com/AmazonS3/latest/userguide/how-to-set-lifecycle-configuration-intro.html
我还检查了这个网址 -
https://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/S3.html#getBucketLifecycle-property
普遍关注
如何像 Java 一样使用 NodeJS 设置多个转换?
其次是 - https://docs.aws.amazon.com/AmazonS3/latest/userguide/how-to-set-lifecycle-configuration-intro.html
任何帮助都会很棒。
ios - 在 SWIFT 中访问 IOS 设备上的视频文件路径 URL
我目前正在尝试使用 AWS IOS SDK 将视频文件上传到 AWSS3。这是我的过程:
// 我接受来自 UIIMagepicker 的视频数据 func imagePickerController(_ picker: UIImagePickerController, didFinishPickingMediaWithInfo info: [UIImagePickerController.InfoKey : Any]) {
}
//然后我调用这个上传视频的函数来制作视频的AWSS#transferutilityuploadtask。
我还在我的应用程序委托中初始化了 AWSS3 传输连接。
这段代码在我的模拟器中完美运行。它从本地文件路径 url 获取文件并将其上传到我的 AWS Bucket。但是,当我在设备上运行它时,本地路径似乎无法访问视频数据。程序在“Starting upload..”处停止并显示 0 作为进度
我注意到从设备和 sumulator 创建的 url 是不同的。不知道如何接受两者,但由于某种原因,设备 url 没有提供正确的访问权限。
模拟器 VideoURL file:///Users/dominiq/Library/Developer/CoreSimulator/Devices/66E08504-7B2B-4DC3-A473-F35E7BB575F6/data/Containers/Data/PluginKitPlugin/9E664198-094E-458F-A1C0-C0E0E3F9A454/tmp/trim .2F6719E1-B2AC-4DF0-BA59-319A85B770DF.MOV
IOS设备视频网址:
file:///private/var/mobile/Containers/Data/PluginKitPlugin/B62449E7-5EE3-4EAB-A5AC-F7C867928959/tmp/trim.C18D77B0-6247-40BB-A175-A1B058627F9D.MOV