问题标签 [udf]

我正在为此功能获得适当的输出。datediff 是否仅计算同一个月内天数的差异？当我以“2015 年 1 月 1 日”的形式传递一个日期时，它总是给我发回一个 0 =/ 我是否遗漏了我的逻辑或语法中的某些内容？

我在 Spark SQL 中有一个查询，例如

其中ts是时间戳类型，truncToHour是将时间戳截断为小时的 UDF。此查询不起作用。如果我尝试，

我得到了expression 'ts' is neither present in the group by, nor is it an aggregate function. Add to group by or wrap in first() if you don't care which value you get.;，但first()如果我这样做没有定义：

无论如何要在不使用子查询的情况下获得我想要的东西？另外，为什么它说“wrap in first()”但first()没有定义？

我是 Pig 新手 我的输入数据是

(message,NIL,2015-07-01,22:58:53.66,E,machine.com.name,12,0xd6,String,String ,0,0.0,key=value&key=123456789&key=value&key=US&key=COMPANY&key=MESSAGE&key =123456789&key=String&key=String&Key=String&Key=String)

我编写了如下的 Java UDF 来解析输入数据的最后一个字符串

当我使用上面的 Java UDF 运行我的 Pig 脚本时，出现以下错误

我的脚本在没有 Java UDF 函数的情况下运行良好，并且也给了我输出文件。当我在我的 Pig 脚本中包含 Java UDF 时，就会出现问题。我的 Java UDF 和运行 Pig 的机器之间没有 Java 版本不匹配 任何指针将不胜感激

猪脚本：

使用 UDF 的 Hive 查询输出最后包含这 2 个警告。如何抑制这两个警告。请注意，作为输出的一部分，2 个警告紧跟在输出之后。

hadoop 版本

蜂巢--版本

我正在尝试从我的 python UDF 返回一个 datetime 对象以用于 Pig 脚本（注意我在这里简化了问题，我的实际 UDF 做了一些比返回当前时间复杂得多的事情，但返回的对象是相同的）：

Pig 版本 0.12.1，Hortonworks 发行版。

我的UDF如下：

但是，当使用 UDF 时，我得到以下信息：

查看负责的 org.apache.pig.scripting.jython.JythonUtils pigToPython 函数，我发现没有明显的方法来实际执行转换，尽管 DataType.DATETIME 作为允许的返回类型。

有没有办法返回猪将作为日期时间处理的日期时间/时间戳对象？

更新：我尝试返回一个 time.struct_time 对象。这仍然不起作用，尽管至少函数完成了：但是，pig 返回了一个元组，而不是我真正想要的 datetime 对象：

更新 2 根据 fred 的建议，我现在从 UDF 输出 ISO 格式的日期时间字符串。在猪源里摸索了一下，这似乎还不可能。

我正在定义一个用户定义的函数，如下所示，当我试图在子程序中调用它时，它返回一个“零”值，这肯定是错误的。

但是，当我尝试使用子程序复制定义上述函数的相同代码并提供相同的输入值时，结果完全没问题，如下所示：

我检查了数据类型，似乎没有不匹配。此外，ThermoRel(x, y, P, T) 函数工作正常，并且具有变体数据类型。我花了很多时间并尝试了我能想到的所有方法，但仍然无法弄清楚，非常感谢您的输入！！！

为了让您轻松调试它，我制作了一个具有相同错误（输出为零）的虚拟示例，如下所示：

谢谢大家的帮助！我在locals窗口中发现调用函数后dx数组全为零，应该是(hx, 0, 0)。出于某种原因，dx 数组被强制为零，我不知道为什么......

我有一个数据集，其中有一列带有一组时间戳，一列只有一个时间戳。我正在寻找使用 c1 时间戳作为更大和更小的条件来获取数组的大小。

表（my_table）：

询问：

udf 是我假设的实现。

输出：

我正在尝试访问 UDF 中的文件 (sample.txt)。我想将该文件放在分布式缓存中并从那里使用它。我正在使用亚马逊 EMR 来运行 Pig 作业。我在创建集群时使用 EMR 引导操作将文件 (sample.txt) 复制到 HDFS。

bootstrap.sh（将文件从 s3 复制到 hdfs）

UsingSample.java（使用 sample.txt 的 UDF）

}

create_cluster.sh（创建集群并执行 Pig 脚本的脚本）

我得到的错误是尝试访问 getCacheFiles() 中的 sample.txt 时出现 FileNotFound 异常。

我在用：

Hadoop 2.4 Pig 0.12

请帮忙。

我编码的配置单元 UDTF 工作正常，只要指定的输出列数是两个。但是此刻，我将其更改为三个并重新部署，它显示以下错误消息。

失败：SemanticException [错误 10083]：AS 子句中提供的别名数与 UDTF 预期的 2 个别名输出的列数不匹配，但得到了 3 个

有什么理由吗？

这是我在初始化方法中使用的代码块。

这是过程方法中的前向语句

任何帮助表示赞赏。

嗨，我有两个加载语句 A 和 BI 想要将特定的列值从 A 传递到 B。我尝试了以下代码。

位置列是空的。我想将标题列中的值传递到位置列。上面的代码只打印空值。任何帮助将不胜感激。