amazon-s3 - 是否有任何 google/aws 服务可以将数据从 google store 移动到 s3

Question

在我的用例中，所有与谷歌相关的应用程序和广告数据生成都将存储在谷歌商店中。但我的处理引擎在 AWS 云上的 Spark 上运行。有人可以帮助我如何移动这个 GS 数据 S3 来处理。

先感谢您

Answer 1

如果您的 spark 类路径上有 google 存储库，则您的 EMR 代码仅使用 gs:// 引用来远程访问 gcs 云数据。使用正确的凭据，它可以从任何地方访问，包括 EMR。

但是，您会增加账单，并且必须等待较慢的读取和写入。