问题标签 [gcp-databricks]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 无法直接从 GCP Databricks 上的 pandas 读取
通常在 Azure/AWS 上的 Databricks 上,要读取存储在 Azure Blob/S3 上的文件,我会挂载存储桶或 Blob 存储,然后执行以下操作:
如果使用 Spark
df = spark.read.format('csv').load('/mnt/my_bucket/my_file.csv', header="true")
如果直接使用 pandas,请将 /dbfs 添加到路径中:
df = pd.read_csv('/dbfs/mnt/my_bucket/my_file.csv')
我正在尝试使用 GCP 在托管版本的 Databricks 上做完全相同的事情,虽然我成功地安装了我的存储桶并使用 Spark 读取它,但我无法直接使用 Pandas 执行此操作,添加 /dbfs 不起作用我得到一个No such file or directory: ...错误
你们中有人遇到过类似的问题吗?我错过了什么吗?
当我这样做的时候
尽管我可以在 UI 中看到带有我安装的存储桶和文件的 dbfs 浏览器,但它什么也不返回
谢谢您的帮助
databricks - 为什么 Databricks 只绘制 1000 行?
Databricks 中是否有任何方法可以使用内置可视化绘制超过 1000 行?我尝试使用limit()
函数,但它仍然只显示前 1000 个。
python - 如何使用 Azure DataBricks Api 提交作业?
我是 Azure Databricks 的初学者,我想使用 API 在 python 中创建集群和提交作业。我被困住了,因为我无法这样做。另外,如果我有一个现有的集群,代码会是什么样子?运行此代码后我得到了作业 ID,但看不到任何输出。
google-cloud-platform - BAD_REQUEST:GCP 工作区创建请求验证失败
我正在尝试将我的数据块连接到 GCP,并且我在 CLI 上授予了以下权限:计算、容器、部署管理器、iam 使用命令“gcloud services enable [servicename]”
我附上了我得到的错误的截图
BAD_REQUEST:GCP 工作区创建请求验证失败:提供的访问令牌没有项目 databricks-project 所需的以下权限:iam.roles.create、iam.roles.delete、iam.roles.get、iam.roles。更新,resourcemanager.projects.get,iam.serviceAccounts.getIamPolicy,iam.serviceAccounts.setIamPolicy,resourcemanager.projects.getIamPolicy,resourcemanager.projects.setIamPolicy,serviceusage.services.get,serviceusage.services.list,serviceusage.services.enable