问题标签 [lzo]

好的，所以我在网上做了一些搜索，但没有找到任何答案。我正在编写一个 shell 脚本，我需要在其中解压缩一个 .lzo 文件。看不到任何线索。有人有什么想法吗？我基本上是在阅读一个带时间戳的日志文件。我的脚本接受年、月、日作为参数。我能够找到我的文件，但现在当我必须解压缩它时，我不知道如何处理 .lzo 文件。需要帮助。

提前致谢。

我正在使用 Ubuntu-12.04,Hadoop-1.0.2,Hive-0.10.0 从 hive 读取大约 100 万条记录的数据时出现以下错误以进行查询

所以我在 $HADOOP_HOME/lib 文件夹中安装了 Snappy for Hadoop，它会生成文件 libsnappy.a、libsnappy.la、libsnappy.so、libsnappy.so.1、libsnappy.so.1.1.4

还在 $HADOOP_HOME/lib/ 中添加 hadoop-lzo-0.4.3.jar 并在 cor-site.xml,mapred-site.xml 中进行如下更改

核心站点.xml：-

mapred-site.xml :-

但是当我开始 hive & do 时show databases，会出现错误：-

我知道这个问题已经被问过好几次了，如下：（Unbalanced Stack！）

但我使用的是开源 DLL，LZO 2.0.3用 ANSI C 编写。关于 DLL 的信息在这里： LZO 下载源代码

我的 C# 程序是一个下载器，它与服务器建立 TCP 套接字，通过 TCP 连接发送 LZO 压缩数据包。

.NET中有几个LZO的端口，例如：

http://lzohelper.codeplex.com/

http://wallaceturner.com/lzo-for-c

http://lzo-net.sourceforge.net/ [过时]

http://www.codeproject.com/Articles/16239/Pure-C-MiniLZO-port

http://powerawarebt2.googlecode.com/svn/trunk/PowerAwareBT/CompactFramework/ADOHelper/SRC_Helper/MiniLZO.cs

与 .NET 中的多个 LZO 和 miniLZO 端口不同，它们具有自己的解压缩函数，根据数据包的最后 4 位建立目标缓冲区的长度，我的数据包包含一个未压缩的 8 字节标头，如下所示：

这是我的代码片段：

使用 PInvoke 的函数调用如下：

我在 64 位 Windows Server 2008 机器上使用 Visual Studio 2012 Express。

正如这篇文章的标题所示，我收到的错误是：

调试控制台产生以下输出：

如果您查看 LZO 2.0.3 库的源代码 - 特别是文件 lzo1x.h，它会说：

我的问题很简单——我该如何解决这个错误？作为一个对 C 知之甚少的新手 C# 程序员，我不熟悉 PInvoke，并且非常感谢您可能提出的任何具体建议。对于可能重复的问题/场景，请提前道歉。

在几次尝试为 hadoop 安装 Lzo 压缩之后，我需要帮助，因为我真的不知道为什么它不起作用。

我在 CentOs 6 上使用 hadoop 1.0.4。我尝试了http://opentsdb.net/setup-hbase.html、https://github.com/kevinweil/hadoop-lzo和其他一些，但我仍然收到错误：

13/07/03 19:52:23 INFO lzo.GPLNativeCodeLoader: Loaded native gpl library 13/07/03 19:52:23 WARN lzo.LzoCompressor: java.lang.NoSuchFieldError: workingMemoryBuf

13/07/03 19:52:23 ERROR lzo.LzoCodec: Failed to load/initialize native-lzo library

即使加载了本机 gpl。我已经根据下面的链接更新了我的 mapred-site 和 core-site，我在正确的路径中复制/粘贴了库（仍然根据链接）。

真正的问题是 lzo 测试适用于 namenode ：

13/07/03 18:55:47 INFO lzo.GPLNativeCodeLoader: Loaded native gpl library 13/07/03 18:55:47 INFO lzo.LzoCodec: Successfully loaded & initialized native-lzo library [hadoop-lzo rev ]

我尝试在 haddop-env.sh 中设置多个路径，但似乎没有正确的解决方案...所以，如果您有任何想法，请链接...？我真的很感兴趣

[编辑] 一周后，我仍在努力让它发挥作用。我已经尝试过 sudhirvn.blogspot.fr/2010/08/hadoop-lzo-installation-errors-and.html 但删除所有 Lzo 和 gplcompression 库然后进行 nez 安装一点也不更好。

那是因为我的hadoop核心版本吗？是否可以同时拥有 hadoop-core-0.20 和 hadoop-core-1.0.4 ？我应该在 0.20 hadoop 上编译 Lzo 以使用 lzo 吗？顺便说一句，我已经尝试过像这样编译 hadoop-lzo：

CLASSPATH=/usr/lib/hadoop/hadoop-core-1.0.4.jar CFLAGS=-m64 CXXFLAGS=-m64 ant compile-native tar

如果它有助于完整的错误是：

我真的很想使用 lzo，因为我必须在一个相当小的集群（5 个节点）上处理非常大的文件。拥有可拆分的压缩文件可以使它运行得非常快。欢迎每一个评论或想法。

我正在尝试创建简单的 map-reduce 示例。这是我的代码

这是我的映射器

和 MyReducer

当我在本地运行这个程序时，它工作正常！但是当我将此程序加载到另一台 hadoop 机器时，它给了我下一个错误：

但我不在任何地方使用 lzopCodec。我尝试通过创建配置来禁用此编解码器，设置它的属性

并将此配置传递给作业。但它仍然失败。

有没有人有建议，为什么它尝试使用 lzopCodec 以及如何禁用它？

我正在使用 hadoop-lzo 处理大型压缩数据的 MR。实际上我的工作是由工具自动生成的，但这不是问题。我的 lzo 压缩适用于所有节点（尝试过 DistributedLzoIndexer），我还可以使用以下命令行对拆分的 lzo 文件使用流式传输：

它创建 11 个地图（根据我的文件大小我猜）并正常处理它。但是当我尝试任何其他 jar 文件时，lzo 文件只使用一个映射来处理。所以我的问题是

通常hadoop会根据压缩编解码器使用输入格式吗？我的 hadoop-lzo-0.4.3.jar 在路径中，所以我真的不明白为什么它仍然使用默认的文本格式。

有什么方法可以强制 hadoop 使用 LzoTextInputFormat 吗？

谢谢阅读。

我有一个默认 LZO 压缩的日志文件和一个使用 Hadoop-LZO 生成的 .index 文件，但是当我运行一个简单的 Pig 文件以使用 LzoPigStorage 检索前 100 条记录时，我得到以下异常：

我正在运行 Hadoop 2.0、Pig 0.11 和大象鸟 2.2.3

我正在尝试构建一个简单的 WordCount jar 项目，该项目利用 Hadoop-lzo 库但似乎无法使以下命令工作，即使我引用的类在hadoop classpath：

有任何想法吗？

我在 lzo 设置 7 下压缩了一些日志文件，在默认压缩下压缩了 gzip，我的结果如下：

MapReduce 工作结束：

• 1GB .gz 文件 - 340 秒
• 1GB .lzo 文件未编入索引 - 410 秒
• 1GB .lzo 文件索引 - 380 秒

MapReduce 作业只是利用 Hadoop-LZO 库的 LzoTextInputFormat 类而不是通常的 TextInputFormat 类。这是唯一的区别。

我看到 37 个地图任务通过并拆分作业并使用 .index 文件，但性能还有很多不足之处。有任何想法吗？

I've written a simple LzoWordCount the following to my Gateway/hadoop-env.sh:

When I run the MR job, I get:

Any ideas how to fix this issue? I did notice that 'hadoop classpath | grep native' returns nothing?