问题标签 [mapper]

嗨，我有一个矩阵，想将它传递给hadoop 多节点集群设置中的映射器类，但矩阵不在文件中。有什么方法可以传递矩阵而不将其写入文件？

这是 valueinjecter 文档（http://valueinjecter.codeplex.com/documentation），但我不是这样

清楚这些术语，flattening/unflattening ,FlatLoop/UnFlatLoop ...，我怎么能

理解这些更容易吗？

谢谢 ！

如果我增加映射器的数量并减少减速器的数量，那么执行时任何作业的性能（增加/减少）是否有任何差异？

另外我想问一下如何设置映射器和减速器的数量？我从来没有玩过这个设置，这就是为什么我不知道这个。我知道 hadoop，但我有代码，因为我经常使用 Hive。

此外，如果我想增加映射器和化简器的数量，那么如何设置它以及设置它的值是多少。它是否取决于实例的数量（比如说 10 个）？

请回复我我想试试这个并检查性能。谢谢。

我在 hadoop 集群上运行 Hive 作业。我才知道如果你只专注于不同的行为映射器和减速器，性能将会得到改善/改变。但是直到现在我还没有玩过它。直到没有，我只是使用 Hive 并使用默认映射器和减速器执行查询？

正如我对映射器和减速器的了解，我担心要设置映射器和减速器的值，以便性能会有所不同。我还想是只需要设置为主节点还是我们必须为所有节点设置？

任何对此有想法的人请向我解释有关此的情况。

在执行作业时我们还需要设置哪些其他参数？

我是 scala 的新手，无法理解 Lift 家伙是如何实现 Record API 的。然而，问题不在于这个 API，而更多的是关于 Scala。我对 Lift 中使用的类模式中的对象如何工作感兴趣。

在上面的代码片段中，您可以看到在 Lift 中如何定义记录。有趣的部分是字段被定义为对象。API 允许您像这样创建实例：

这可能是通过使用 apply 方法完成的？但与此同时，您可以通过执行以下操作来获取值：

这一切如何运作？在类的范围内，对象是否不是静态的。或者它们只是一些内部表示的构造函数类？怎么可能遍历所有字段，你使用反射吗？

谢谢，奥托

如 Zend 文档中所述，我有一个 User.php 模型、DbTable/User.php 模型和 UserMapper.php 文件。

映射器有 fetchAll()、find($id)、getDbTable()、save() 和 setDbTable()

如果我想添加以下功能：

1. 函数 doesUsernameExistAlready($username) {返回一个布尔值}
2. 函数 findByUsername($username) {返回一个 $user}
3. function activateUser($user) {只需激活一个 $user}

要遵循 Zend 的最佳实践，应该在哪里添加这 3 个函数？应该将它们添加到 UserMapper.php 还是 User.php？还是它们属于控制器（UserController）？

对于 findByUsername，我如何编写一个函数来搜索我的用户表中的用户名？在我的例子中，用户名是电子邮件地址并且是唯一的（在 MySQL 中定义）。

我有很多小文件，比如说超过 20000 个。

我想节省映射器初始化所花费的时间，所以是否可以只使用 500 个映射器，每个处理 40 个小文件作为其输入？

如果可能的话，我需要有关如何实现这种输入格式的指导，谢谢！

BTW，我知道我应该合并这些小文件，这一步也是需要的。

我正在做一个 DDD 项目，其中正在进行大量的字段映射。我正在寻找一个快速而可靠的映射库，而不是手动编写所有映射，并且似乎有很多选择。

目前我更倾向于 Glue，因为它看起来提供了相当多的功能，并且在构建时也考虑到了单元测试，这对我正在从事的项目也很重要。不利的一面是它只被下载了 200 多次，这让我认为像 ValueInjecter 这样的东西可能是一个更好的选择，因为那里有更多的支持。

我的问题是，Glue 比其他任何映射器更好还是更差？还是上面提到的映射器在性能和可用性方面的差异可以忽略不计？

在这个 hadoop 教程的底部示例中，有一个“configure()”方法。 http://hadoop.apache.org/common/docs/r0.20.2/mapred_tutorial.html#Source+Code-N10FD0

我想在其中放置一个打印语句以知道它到达那里。但是，没有任何内容打印到控制台。我是做错了还是有什么我不明白的hadoop。

它位于页面底部示例的第 28 行。

这是我输入的内容，但同样只有 WordCount 的正常输出被输入到控制台。

我有以下形式的一些 Json：

还有更多字段，但为了清楚起见，我省略了它们。我正在尝试将每个故事映射到具有字段 ID、文本、状态和标签列表的故事类。我使用以下方法可以正常工作：

一个项目是简单的故事的 ArrayList，而 JsonToStory 是以下方法：

故事类如下：

使用 get 方法和 print 方法。标记类只包含两个字符串字段。

我不知道如何构造 setTags 方法，以便生成 Tag 对象的数组列表，并且找不到任何帮助。

谢谢！