问题标签 [aws-databricks]

我想知道是否可以在 Databricks 笔记本上的某个单元之后Run All运行单元，而不是在笔记本顶部运行选项？

我正在考虑使用由 Spark 连接器连接的 Databricks 和 Snowflake，它们都在 AWS 上运行。在触发决定之前，我很难理解以下内容：

1. Spark 连接器的性能如何？（性能、额外成本、兼容性）
2. Databricks SQL 和 Snowflake SQL 在性能和标准方面可以进行哪些比较？
3. 尝试同时使用这两种方法的“陷阱”或不幸的惊喜是什么？

我无法在 Databricks 中安装 geopandas 包。我正在使用 cluster Run time 5.5 LTS Spark 2.4.3 Scala 2.11
该软件包已成功安装在其他运行时版本中，但不是我需要的版本。在集群运行时 5.5 中安装这个包需要做什么？

我正在使用以下命令

以下是错误说明

详细错误

我在 Databricks 中运行代码，但不知何故 unixtimestamp 值没有什么不同。在调试时我知道了，因为 databricks 配置了 UTC 时区。请告知如何在 Databricks 中将默认时区更改为 EST。

Databricks 中是否有任何方法可以使用内置可视化绘制超过 1000 行？我尝试使用limit()函数，但它仍然只显示前 1000 个。

这是从 csv 文件中读取数据的通用代码。在这段代码中，".option("inferSchema", infer_schema)" 有什么用，"" 在这段代码中会做什么？

我在 DDL 下面的 Databricks 中使用 OpenCSV Serde 创建了一个表：-

表的创建没有任何问题，但在尝试运行以下命令时：-

我收到以下错误消息：-

请提出解决方案。在 Databricks 版本 6.4、7.1 和 8.4 上进行了尝试。

您好我正在尝试在 Databricks 上运行以下代码，这是一个 3 节点 spark 集群我从 kinesis 流中检索数据到 spark 数据帧中并将其转换为提取有效负载 json 文件名

在下面的代码中，我尝试从 AWS s3 下载每个 json 文件名的数据，我的有效负载是“filename.json”形式的字符串

尝试创建一个Singleton对象来访问 s3 客户端也mapPartitions但似乎没有任何工作，得到以下错误

请让我知道任何其他解决方法

我正在尝试将 Azure Blob 存储容器挂载到 DBFS。实现如下。得到以下错误。不知道为什么我收到错误 您是否删除了挂载点的 AWS 密钥？ 当我尝试连接到 azure blob 存储时。

我在这里有什么遗漏吗？你能帮我解决这个问题吗 - 谢谢 -

代码实现

错误

问题很简单：

master_dim.py调用dim_1.py和dim_2.py并行执行。这在databricks pyspark中可能吗？

下图解释了我想要做什么，它由于某种原因出错，我在这里遗漏了什么吗？