问题标签 [aws-lake-formation]

我们正在尝试为用户授予权限（使用 AWS CLI），以对 AWS Lake Formation 中的数据库中的所有表具有 SELECT 权限。

基于文档；Lake Formation 权限参考和授予表权限

我们尝试了以下命令：

返回以下错误：

我们尝试了命令的一些变体（文档确实说这需要是一个空字典），我们得出的结论是，它必须与我们在执行命令时调用的 API 版本有关。

是否有人能够确认这是否是 API 版本问题，或者我们错过的文档（上面链接）中是否缺少某些内容。

干杯

我已启用 Lake Formation 并尝试创建数据库，但无论如何我仍然收到错误： Lake Formation 权限不足：需要在目录上创建数据库

我正在使用具有所有权限的 root 帐户。我什至明确授予AWSLakeFormationDataAdmin权限，但没有成功。我已将自己（用户）添加到 Data Lake Administrator，但无法将自己添加到 Database Creator（AWS Lake Formation > Permissions > Admins and Database Creators）：

资源不存在或请求者无权访问请求的权限。

所以基本上我唯一能做的就是注册 S3 位置。有什么我做错了吗？

• 这是我们在 Athena 中得到的错误：HIVE_UNKNOWN_ERROR: Error creating an instance of com.facebook.presto.hive.lakeformation.CachingLakeFormationCredentialsProvider
• 该存储桶已在 Lake Formation 注册
• 用于查询 Athena 的角色已在 Lake Formation 中获得对数据库和数据库中所有表的完全访问权限
• 角色已获得对 Lake Formation 数据位置部分中底层 s3 存储桶的访问权限。

我已将 DMS 配置为将数据从源数据库连续复制到 S3。这将创建 CDC CSV 文件。我有以下示例输出

DMS 正常运行后，我触发 AWS Glue Crawler 为包含复制文件的 S3 存储桶构建数据目录。使用 AWS Lake Formation 将数据从 S3 加载到 RDS，它会在两行中插入到表中，而不是更新。我错过了什么吗？

Lake Formation发布了 ACID 和 RLS 功能的预览版。在不久的将来，在没有像 Databricks 这样的额外管理层的情况下，在 EMR+LakeFormation 上迈向Lakehouse 架构的下一步是可能的。

Lake Formation 的 Governed Tables 使用什么数据格式/技术？会是胡迪吗？如果不是 Hudi，新格式/技术与 Hudi 相比如何？

我正在通过以下页面使用 Pyspark 学习 Glue：https ://aws-dojo.com/ws8/labs/configure-crawler/ 。

我的问题是：创建胶水作业需要爬虫和在 Lake Formation 中创建数据库吗？

我的 aws 角色有一些问题，我无权在 LakeFormation 中创建资源，所以我在想是否可以跳过它们只创建胶水作业并测试我的脚本？

例如，我只想为一个输入 .txt 文件测试我的 pyspark 脚本，我将它存储在 S3 中，我还需要爬虫吗？我可以只使用boto3创建粘合作业来测试脚本并进行一些预处理并将数据写回 s3 吗？

我正在使用 AWSlake 形成管理使用 Athena 所需的权限。

对于其中一位用户，我撤销了他的所有权限，所以现在他看不到 athena 目录中的数据库和表，但是当他直接从编辑器运行任何请求时，它仍然有效。

他不是 ldata ake 编队管理员，并且对 athena 具有完全访问权限。

我想使用 Lake Formation 在我的 S3 / Glue Data Lake 之上设置一个额外的安全层。我想通过基础设施即代码尽可能多地做，所以我自然而然地查看了 Lake Formation 的CloudFormation 实现的文档，坦率地说，它目前非常无用。

我有一个简单的用例：在一个存储桶上向一个 IAM-User 授予管理员权限。有人可以帮我举个例子或类似的东西吗？

我正在查询使用湖形成共享的胶水表并收到此错误。

我的表在 postgres 中分区。我创建了一个 Glue 爬虫来创建表。我在配置爬虫的输出中选择了“使用表中的元数据更新所有新的和现有的分区”选项。由于它是分区的，因此不会创建表。你能建议用胶水创建表格的选项吗？