apache-pig - ORC 格式 - PIG - 依赖库

Question

我理解写入 ORC 格式 + snappy 压缩（猪脚本），

使用 OrcStorage('-c SNAPPY')

我需要你的帮助，我需要包含什么 SET 命令或必要的库才能将结果数据集存储为 ORC 格式？

请帮忙。

苏布拉

Answer 1

检查您使用的是什么猪版本。ORC 存储可从 pig14 作为内置功能获得。检查示例： https ://pig.apache.org/docs/r0.14.0/func.html#OrcStorage

更新

这只猪工作正常：

data = LOAD 'SO/date.txt' USING PigStorage(' ') AS (ts:chararray);
STORE data INTO 'orc/snappy' using OrcStorage('-c SNAPPY');
data_orc = LOAD 'orc/snappy' using OrcStorage('-c SNAPPY');
DUMP data_orc;

你甚至不需要注册 kryo jar，因为它不是直接从 pig 中使用的，所以它会被优化出来，但是你通过反射使用它，所以你必须将 kryo jar 添加到类路径中，如下所示：

pig -latest -useHCatalog  -cp ./kryo-2.24.0.jar orc.pig