sql - 如何从手动分区的 BigQuery 表中引用最新表

Question

我们有一个手动分区的“视频元数据”表，每天都会提供新数据。在我们的系统中，旧数据仅出于历史原因保留，因为最新数据是最新的。

我们无法弄清楚的是如何使用 LookML 仅引用此表中的最新分区。

到目前为止，我们已经尝试在 BigQuery 中存储视图。我们已经尝试在标准和旧版 SQL 中将简单的“获取最新分区”查询存储为视图，但在一些搜索中，这似乎是设计使然，即使错误消息指出“未找到数据集”而不是更相关的东西。

我们还尝试将过滤器构建到 Looker 中，但我们无法让事情真正发挥作用，并且只能通过它返回给我们的最新数据。

任何帮助，将不胜感激。

Answer 1

我们设法找到了一个解决方案，派生表

我们认为，由于无法在 BigQuery 端定义视图，因此可以在 Looker 端进行，因此我们在视图内的派生表块中定义表。

derived_table: {
    sql: SELECT * FROM dataset.table_*
         WHERE _TABLE_SUFFIX = (
             SELECT max(_TABLE_SUFFIX) FROM dataset.table_*
         );;
    sql_trigger_value: SELECT max(_TABLE_SUFFIX) FROM dataset.table_*;;
}

这给了我们一个只有最新数据的视图。