问题标签 [gcp-databricks]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
256 浏览

python - 无法直接从 GCP Databricks 上的 pandas 读取

通常在 Azure/AWS 上的 Databricks 上,要读取存储在 Azure Blob/S3 上的文件,我会挂载存储桶或 Blob 存储,然后执行以下操作:

如果使用 Spark

df = spark.read.format('csv').load('/mnt/my_bucket/my_file.csv', header="true")

如果直接使用 pandas,请将 /dbfs 添加到路径中:

df = pd.read_csv('/dbfs/mnt/my_bucket/my_file.csv')

我正在尝试使用 GCP 在托管版本的 Databricks 上做完全相同的事情,虽然我成功地安装了我的存储桶并使用 Spark 读取它,但我无法直接使用 Pandas 执行此操作,添加 /dbfs 不起作用我得到一个No such file or directory: ...错误

你们中有人遇到过类似的问题吗?我错过了什么吗?

当我这样做的时候

尽管我可以在 UI 中看到带有我安装的存储桶和文件的 dbfs 浏览器,但它什么也不返回

谢谢您的帮助

0 投票
1 回答
166 浏览

databricks - 为什么 Databricks 只绘制 1000 行?

Databricks 中是否有任何方法可以使用内置可视化绘制超过 1000 行?我尝试使用limit()函数,但它仍然只显示前 1000 个。

0 投票
1 回答
1216 浏览

python - 如何使用 Azure DataBricks Api 提交作业?

我是 Azure Databricks 的初学者,我想使用 API 在 python 中创建集群和提交作业。我被困住了,因为我无法这样做。另外,如果我有一个现有的集群,代码会是什么样子?运行此代码后我得到了作业 ID,但看不到任何输出。

0 投票
1 回答
107 浏览

python - 如何在数据块上指定 python 版本?

我使用GCP运行Databricks和使用pip安装guidedlda。似乎guidedlda使用至少 python 3.7 版。

如何在为 GCP 配置的数据块中提及 python 版本?我可以看到一个选项 onAzureAWS不是 on GCP。这是屏幕截图

在此处输入图像描述

0 投票
0 回答
18 浏览

google-cloud-platform - BAD_REQUEST:GCP 工作区创建请求验证失败

我正在尝试将我的数据块连接到 GCP,并且我在 CLI 上授予了以下权限:计算、容器、部署管理器、iam 使用命令“gcloud services enable [servicename]”

我附上了我得到的错误的截图

BAD_REQUEST:GCP 工作区创建请求验证失败:提供的访问令牌没有项目 databricks-project 所需的以下权限:iam.roles.create、iam.roles.delete、iam.roles.get、iam.roles。更新,resourcemanager.projects.get,iam.serviceAccounts.getIamPolicy,iam.serviceAccounts.setIamPolicy,resourcemanager.projects.getIamPolicy,resourcemanager.projects.setIamPolicy,serviceusage.services.get,serviceusage.services.list,serviceusage.services.enable