问题标签 [mapper]

我正在开始一个使用 couchbase（以 json 格式存储对象的 noSQL 数据库）以及 php.ini 的新项目。

问题是，如果我可以将 json 映射到我自己的 php 类之一（反之亦然），那么与它们一起工作将非常容易。

你知道任何图书馆吗？

我目前正在我的应用程序中手动将 DTO 映射到 BO（反之亦然）。然而，这种方法既笨拙又笨拙。

这两种表示之间有什么好的映射器吗？

我的要求如下：

• 应支持将 JPA 代理转换为标识符（DTO 不应直接链接到其他 DTO）。或者这个功能应该很容易实现
• 应该基于注释，约定优于配置
• 软标准：应该允许将多个 DTO 映射到一个实体（反之亦然）

感谢您的任何建议。

首先，我有：

这有效..

现在我有一个“包装类”，例如：

itens 可以是人员列表。但我不能序列化（人的）所有字段。ResponseJsonSerializer 知道可以写什么；

Insite ResponseJsonSerializer，我有：

但控制台说：No serializer found for class ...SSN and no properties discovered to create BeanSerializer (to avoid exception, disable SerializationConfig.Feature.FAIL_ON_EMPTY_BEANS) )

我如何在 ResponseJsonSerializer 中使用在字段上声明的序列化程序？

hadoop 新手 - 我正在尝试以块的形式读取我的 HDFS 文件，例如 - 一次 100 行，然后使用映射器中的 apache OLSMultipleLinearRegression 对数据进行回归。我正在使用此处显示的此代码读取多行：http ://bigdatacircus.com/2012/08/01/wordcount-with-custom-record-reader-of-textinputformat/

我的映射器定义为：

我的问题是：为什么 lcount==1 来自 system.out.println？我的文件由“\n”分隔，并且我在记录阅读器中设置了 NLINESTOPROCESS = 3。我的输入文件格式为：

如果我一次只读取 1 行，我将无法执行多重回归，因为回归 API 需要多个数据点......谢谢您的帮助

在我的一个 MapReduce 任务中，我将 BytesWritable 覆盖为 KeyBytesWritable，并将 ByteWritable 覆盖为 ValueBytesWritable。然后我使用 SequenceFileOutputFormat 输出结果。

我的问题是当我开始下一个 MapReduce 任务时，我想使用这个 SequenceFile 作为输入文件。那么如何设置作业类，以及 Mapper 类如何识别我之前覆盖的 SequenceFile 中的键和值？

我知道我可以通过 SequenceFile.Reader 读取键和值。

但我不知道如何使用这个 Reader 将键和值作为参数传递给 Mapper 类。如何将 conf.setInputFormat 设置为 SequenceFileInputFormat，然后让 Mapper 获取键和值？

谢谢

根据 Amazon Elastic MapReduce 上使用/可用的实例，计算要使用的正确 hadoop 映射器和缩减器数量的最佳方法是什么？（使用 mahout-core-0.7 发行版的 RecommenderJob）

我在hadoop map reduce中写了一个简单的hash join程序。思路如下：

使用 hadoop 框架提供的 DistributedCache 将一个小表分发给每个映射器。大表分布在映射器上，拆分大小为 64M。映射器的设置代码创建一个从这个小表中读取每一行的哈希图。在映射器代码中，在哈希映射中搜索（获取）每个键，如果该键存在于哈希映射中，则将其写出。此时不需要减速器。这是我们使用的代码：

测试这段代码时，我们的小表是32M，大表是128M，1个主节点，2个从节点。

当我有 256M 的堆时，此代码因上述输入而失败。我在 mapred-site.xml 文件的 mapred.child.java.opts 中使用 -Xmx256m。当我将其增加到 300m 时，它会非常缓慢地进行，而在 512m 时，它会达到其最大吞吐量。

我不明白我的映射器在哪里消耗了这么多内存。使用上面给出的输入和映射器代码，我不希望我的堆内存达到 256M，但它会因 java 堆空间错误而失败。

如果您能对映射器消耗如此多内存的原因提供一些见解，我将不胜感激。

编辑：

在我的 hadoop 工作中，除了我的输入数据文件之外，我希望每个映射器类（map 方法）读取我放入 hdfs 的公共文件。该文件将被读入每个映射器，并将内容保存在每个映射器中。那么该怎么做呢？

我正在尝试直接从映射器在 hadoop 文件系统中编写纯文本文件。

我这样做如下：

而且它不会在伪分布式模式下写任何东西。不过，在单机上写的很完美。

问题出在哪里？

我正在尝试将我的电梯应用程序连接到数据库。我有以下代码来执行操作。我已经下载了 lift-mapper_2.9.1 并将其包含到我的应用程序中，并且我在 boot.scala 中给出了以下代码

我已经在 src/main/resources/props/default.props 文件中设置了 db.class 和其他属性。但是这里的第一行显示了一个错误，

我不知道我做错了什么。可以给个建议。提前谢谢。