问题标签 [google-bigquery]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
6 回答
44156 浏览

sql - 在 BigQuery SQL 中支持 UNION 函数

BigQuery 似乎还不支持 UNION: https ://developers.google.com/bigquery/docs/query-reference

(我的意思不是为了源将表联合在一起。它有。)

是不是快到了?

0 投票
1 回答
4872 浏览

google-app-engine - 使用 Java 将数据从 Google Cloud Storage 加载到 BigQuery

我想将数据从 Google Cloud Storage 上传到 BigQuery,但找不到任何描述如何执行此操作的 Java 示例代码。有人可以给我一些提示如何做到这一点吗?

我真正想做的是将数据从 Google App Engine 表传输到 BigQuery(并每天同步),以便我可以进行一些分析。我使用 Google App Engine 中的 Google Cloud Storage Service 将(新)记录写入 Google Cloud Storage 中的文件,唯一缺少的部分是将数据附加到 BigQuery 中的表(或为首次写入创建新表)。诚然,我可以使用 BigQuery 浏览器工具手动上传/附加数据,但我希望它是自动的,否则我需要每天手动进行。

0 投票
2 回答
1144 浏览

google-bigquery - 配额限制

如何增加查询和导入数据到大查询的配额限制?

https://developers.google.com/bigquery/docs/quota-policy

为此我需要提交任何表格吗?可以离线做吗?

1000 的查询限制不足以满足我的大多数要求。

0 投票
2 回答
886 浏览

php - 转换 unicode(?) 字符串

我有一个 txt 文件,我用 fopen 打开它以供阅读。然后我尝试使用回显屏幕上的行

其中一行内容如下:

有人能告诉我如何正确解码吗?

该脚本在命令行上运行,然后当我“跟踪”生成的 CSV 时,它会显示上述编码。当我将 CSV 导入 MySQL 时,它显示了相同的结果。在 OpenOffice 中打开 CSV 时类似。

txt 文件是从 Google BigQuery 导出的,使用以下命令

您可能会想,为什么不直接让 BigQuery 命令行工具输出一个 CSV 文件,但那是因为它会触发系统中的一些 bug,这些 bug 也与此编码有关......

0 投票
1 回答
730 浏览

github - 一个人可以从 GitHub Archive 检索数据多远?

GitHub 存档项目 状态

GitHub Archive 是一个记录公共 GitHub 时间线、将其存档使其易于访问以进行进一步分析的项目。

该档案也可通过Google Big Query进行查询。但是,看起来我要么遗漏了某些东西,要么只有一部分数据可用。

事实上,运行以下查询只返回1636WatchEvents(startedstopped),而Rails 存储库的帐户比14300观察者更多。

看起来最早检索到的数据大约有 2.5 个月的历史。

数据会被截断吗(这对于存档来说可能看起来很奇怪)?是否存在与使用 BigQuery 相关的限制/配额?

github存档

0 投票
2 回答
419 浏览

google-bigquery - 我如何获得用于 bigquery 使用的最终用户 api 密钥

如果我必须在大查询 api 之上构建一个 android 应用程序,那么我希望最终用户提供他们自己的 api 密钥,因为他们将按使用量计费。我怎样才能做到这一点?可以在设置中向用户询问 api 密钥并将其存储在客户端吗?

0 投票
2 回答
5348 浏览

google-apps-script - 使用 Google 电子表格访问 BigQuery

我在互联网上查看如何在 google 电子表格中导入 bigquery 数据。我找到了这个 appscript 示例,但它不起作用 API 不在同一级别,我没有找到如何在 appscript 中使用 API2 或 API@beta1 进行查询。

提前感谢您的想法,

GQ

0 投票
1 回答
198 浏览

google-bigquery - 有没有办法处理稳健且可扩展的不变性?

由于 bigquery 是仅附加的,因此我正在考虑使用类似于 peoplesoft 的工作方式的“生效日期”标记我上传到它的每条记录,如果有人熟悉该模式的话。

然后,我可以发出选择语句并在最大生效日期加入

不幸的是,由于大查询“小连接”的限制,我相信这不会扩展,所以我想看看其他人是否考虑过这个用例。

0 投票
4 回答
997 浏览

google-app-engine - 从 python 脚本将日志摄取到 bigquery

我想在不使用 appengine mapreduce 的情况下将日志从 appengine 应用程序提取到 bigquery 吗?

0 投票
3 回答
394 浏览

google-apps-script - 在 Apps 脚本中的自定义函数中,BigQuery 调用失败

我在 Apps Script 中编写了一个自定义函数,该函数使用函数参数构造查询,并调用提供查询的 BigQuery 服务(我使用 API 密钥启用了该服务)。但是当我在电子表格中使用该函数时,它总是返回服务器错误。

这是我的代码(当我通过手动提供变量在调试器中运行它时它可以工作):