1

从 spark 1.5.x 开始，添加了一些方便的方法来处理时间。

df.select(datediff($"A", $"B")).show

但这会返回天数的差异。是否有任何选项可以将其转换为不同的时间间隔，例如年？

我手动使用

df.select(year($"A")- year($"B")).show

这已经足够好了。但是，如果更准确地计算日期差异会更好，例如包括月份/天，如显示的http://howtodoinjava.com/for-fun-only/java-code-to-calculate-age-from-date-of-出生/

UDF 是当前 spark 2.0.2 的首选解决方案吗？还是我错过了将差异转换为天数的选项，例如年数？

4

1 回答 1

5

Timestamp类型可以转换为它的 Unix 时间戳（以秒为单位）。如果这个分辨率对你来说足够好，剩下的只是一堆算术运算。您可以计算以秒为单位的差异：

import org.apache.spark.sql.Column

def secondsBetween(col1: Column, col2: Column) =
  col2.cast("timestamp").cast("bigint") - col1.cast("timestamp").cast("bigint")

并根据您的需要重新取样，例如：

def minutesBetween(col1: Column, col2: Column) =
  (secondsBetween(col1, col2) / 60).cast("bigint")

显然，这并不能处理日期和时间处理的所有细节，例如夏令时或闰秒，因此如果这些在您的域中很重要，那么建议使用带有适当时间处理库的 UDF。

于 2016-11-15T11:36:12.877 回答