1

BigQuery 支持：

  1. SQL 和 JavaScript 中的用户定义函数(UDF)。
  2. 计算一组行的值并为每行返回一个结果的分析函数。这些函数可以与OVER子句一起使用。有一组预定义的分析函数。

问题 #1：“BigQuery 是否支持分析用户定义的函数？”

这背后的动机是我想实现Python pandas 代码中常见的split-apply-combine模式。这对于组内标准化和使用组统计的其他转换可能很有用。

我在标准 SQL 中做了一个小测试：

create or replace function `mydataset.mylen`(arr array<string>) returns int64 as (
  array_length(arr)
);

WITH Produce AS
 (SELECT 'kale' as item, 23 as purchases, 'vegetable' as category
  UNION ALL SELECT 'orange', 2, 'fruit'
  UNION ALL SELECT 'cabbage', 9, 'vegetable'
  UNION ALL SELECT 'apple', 8, 'fruit'
  UNION ALL SELECT 'leek', 2, 'vegetable'
  UNION ALL SELECT 'lettuce', 10, 'vegetable')
SELECT 
  item, 
  purchases, 
  category, 
  `mydataset.mylen`(item) over (mywindow) as windowlen
FROM Produce
window mywindow as (
  partition by category
)

当我运行上面的代码时，我得到：

查询错误：函数 mydataset.mylen 在 [16:3] 不支持 OVER 子句

因此，如果 BigQuery 确实支持分析 UDF，那么问题 #2：“如何实现 UDF 以使其支持 OVER 子句？”

4

1 回答 1

3

你非常接近解决问题:)

对于答案的读者来说，BigQuery 不支持用户定义的聚合/分析函数，因此模拟它的一种方法是编写一个接受数组作为输入的标量 UDF。然后在查询中，array_agg() 函数用于将数据打包为 UDF 的输入（这是问题中缺少的步骤）。

  `mydataset.mylen`(item) over (mywindow) as windowlen

=>

  `mydataset.mylen`(array_agg(item) over (mywindow))  as windowlen
于 2020-11-26T19:34:32.767 回答