问题标签 [google-bigquery]

我正在尝试加载一个非常基本的表：cookie:string,campaign_id:integer,point_type:integer。

这是我正在使用的文件：http: //pastie.org/private/xswuhkotlfxmykozrzws5a

但是，当我运行时： bq load -F '^' myset.my_test myfile_15.txt cookie:string,campaign_id:integer,point_type:integer它报告“加载操作中的 BigQuery 错误：无法确定 myset.my_test 描述的表”。

但是，我可以通过网络浏览器工具上传相同的文件和架构，并且加载正常。关于我可能做错了什么的任何想法？

在过去的 3 周内（直到澳大利亚时间 6 月 4 日），我一直在使用 Google BigQuery，但没有启用计费功能。但是今天它给了我错误，指出“您必须启用计费”。

我的问题是：

到目前为止我是幸运的吗？或者最近发生了什么变化？

我开始使用带有公共数据的浏览器工具，然后我创建了几个表，一切正常，然后昨天开始使用命令行工具，今天它给了我错误。

有人遇到过类似的问题吗？

拥有一个 GAE 数据存储类型，其中包含数十万个对象。想做几个涉及到的查询（涉及计数查询）。Big Query 似乎很适合这样做。

目前是否有一种使用 Big Query 查询实时 AppEngine Datastore 的简单方法？

我每天都会上传几个文件，其中大约一半是成功的。某些作业返回错误...

我在我的服务器上使用 IST 日期格式（如果重要的话）

作业成功的相关日志如下：

为什么我只收到一些正在上传的文件的错误？

我计划使用 Google BigQuery（请随意建议包括 Google 在内的非 Amazon 非 Azure 服务）来执行以下操作 - a）使用 R 进行分析，专门用于数据挖掘、仪表板和文本挖掘。

R 和 Google 平台都是固定的。

我的问题是如何以及在哪里可以找到如何将 R 与 Google Big Query 结合使用。我阅读了 RCurl 文档，但有点困惑。您是否有一个可以使用 R 和 Google BigQuery 完成的简单任务的用例。

在doc上，它声明您可以将多个文件从 Storage 上传到单独的请求中的表中：

创建 CSV 文件以填充表格 - 用于填充表格的数据以 CSV 文件的形式上传。单个源文件的最大大小为 4GB，但您可以在单个请求或单独请求中将多个源文件导入表。

这些请求可以同时发出吗？如果是，每个账户/桶/表的最大并发上传请求数是多少？如果这些数字没有明确的配额，是否意味着您可以通过发出上传请求来尽可能多地增加上传吞吐量？

谢谢，

卡兹

我有一个文本文件 schema.txt，其中定义了我要创建的表的架构。

我想将此文件包含在用于创建表的多部分 HTTP 请求中。

如何在多部分 HTTP 请求中指定 schema.txt 文件？

以下是我目前正在做的事情（虽然没有工作）：

filenm“schema.txt”在哪里。

我知道我可以直接将架构指定为：

但相反，我想指定包含架构的文件。

我收到错误消息：BigQuery error in load operation: Backend Error当我尝试在 BQ 上上传和导入数据时。我已经缩小了尺寸，增加了导入之间的时间，但没有任何帮助。奇怪的是，如果我等待一段时间并重试它就可以了。

在 BigQuery 浏览器工具中，它在某些行/字段中看起来像一个错误，但我检查并没有。显然这是一条假消息，因为如果我等待并重试上传/导入相同的文件，它会起作用。

Tnks

我在这里阅读了 Michael 对这篇文章的回答，其中建议使用管道将数据从数据存储移动到云存储再到大查询。

Google App Engine：在数据存储上使用 Big Query？

我想使用这种技术将数据附加到 bigquery 表中。这意味着我必须有某种方式知道实体是否已被处理，这样它们就不会在 mapreduce 运行期间重复提交给 bigquery。我不想每次都重建我的桌子。

在我看来，我有两个选择。我可以在实体上放置一个标志，并在处理每个实体时对其进行更新，并在后续运行中将其过滤掉 - 或者 - 我可以将每个实体保存到一个新表中并将其从源表中删除。第二种方式似乎更好，但我想询问选项或看看是否有任何陷阱

我使用以下命令加载数据。

碰巧当我得到非零返回码时，数据仍然被加载。如何确保命令成功与否？检查返回码似乎没有帮助。有时我再次加载相同的文件，因为我收到错误但数据已经在 bigquery 中可用。