问题标签 [cloudera]

我有一个有 9 个节点的 linux 集群，我已经安装了 hadoop 1.0.2。我有一个使用多个从站运行的 GIS 程序。我需要使用 1、2、3、4 .. 8 个从节点来测量我的程序的 speedUp。一旦我通过改变从属设备的数量在 conf/slaves 文件中进行了更改，我就使用 start-all.sh/stop-all.sh 脚本来启动/停止我的集群。但是这样做时我遇到了奇怪的错误，感觉我没有使用正确的技术来添加/删除集群中的从节点。

任何有关“更改从属文件和重新启动集群的技术”的理想帮助将不胜感激。

I have a "map only" (no reduce phase) program. The size of input file is large enough to create 7 map tasks and I have verified that by looking the output produced (part-000 to part006) . Now, my cluster has 8 nodes each with 8 cores and 8 GB of memory and shared filesystem hosted at head node.

My question is can I choose between running all the 7 map tasks in 1 node only or running the 7 map tasks in 7 different slave nodes (1 task per node). If I can do so, then what change in my code and configuration file is needed.

I tried setting the parameter "mapred.tasktracker.map.tasks.maximum" to 1 and 7 in my code only but I didnot find any appreciable time difference. In my configuration file it is set as 1.

假设我通过 hadoop 中的 conf 文件更改了 tasktrackers 的端口号或更改了最大映射任务的数量，我是否需要停止并重新启动服务器/守护程序？

我有一个 Hadoop 集群，头节点作为主节点，其他 7 个节点配置为从节点，每个节点都有 8 个内核和 8 GB 内存。我正在尝试改变从配置文件中的参数“mapred.tasktracker.map.tasks.maximum”和从属的数量。现在，如果我的程序必须运行 40 个任务，我可以在某个日志文件或某处查看每个从属节点上运行的任务数吗？基本上，我正在寻找不同节点之间的 Map 任务分布。

我有一个用 C++ 编写的相对简单的程序，我一直在使用 Hadoop Streaming 进行 MapReduce 作业（我的 Hadoop 版本是 Cloudera）。

最近，我发现很多流式任务在最后成功完成时一直失败并被任务跟踪器重新启动。我跟踪了用户日志，似乎一些 MapReduce 任务的输入为零。具体来说，错误消息如下所示：

有时错误率非常高（接近 50%）。我不认为这是正常的。有人知道吗

a) 发生了什么事？

b）我该如何解决？

谢谢

我正在尝试使用 map reduce 程序调用 Sqoop

执行时，我收到以下错误

我已将 /tmp 及其在 HDFS 中的子目录的权限设置为 777

我可以使用命令行很好地调用相同的命令sudo -u hdfs sqoop ...

这是 Cloudera 的 hadoop distirbution，我以 hdfs 用户身份运行该作业。

我刚刚为 VirtualBox 和 VMWarePlayer 下载了最新的 Cloudera VM 并启动了它们。 https://ccp.cloudera.com/display/SUPPORT/Cloudera%27s+Hadoop+Demo+VM

但是，除了安装 hadoop 之外，它们不再包含任何东西（如 eclipse 等）。我清楚地记得我在某个时候尝试过 cloudera VM，附带了整个安装预配置的示例、示例数据、eclipse 等。我在这里验证了这一点：http ://www.philippeadjiman.com/blog/2009/12/07/hadoop -tutorial-part-1-setting-up-your-mapreduce-learning-playground/

难道我做错了什么？？

有没有地方可以找到旧的虚拟机？SJ

我是 java 新手并试图运行一个使用 HIPI 的 MR：http://hipi.cs.virginia.edu/我 使用了如下所述的命令： http ://hadoop.apache.org/common/ docs/r0.20.2/mapred_tutorial.html 我正在使用 hadoop 0.20.2

我的命令看起来像： hadoop jar grayscalefromfile_exc.jar grayscalefromfile_exc.StubDriver -libjars hipi-0.0.1.jar imgs imgsOut1

路径如下所示：

我得到的错误： org.apache.hadoop.util.ToolRunner.run ( ToolRunner.java:65) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79) at grayscalefromfile_exc.StubDriver.main(StubDriver.java:103) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 在 java.lang.reflect.Method.invoke(Method.java:597) 在 org. apache.hadoop.util.RunJar.main(RunJar.java:186) 引起：java.lang.ClassNotFoundException：hipi.imagebundle。mapreduce.ImageBundleInputFormat at java.net.URLClassLoader$1.run(URLClassLoader.java:202) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:190) at java.lang .ClassLoader.loadClass(ClassLoader.java:306) at java.lang.ClassLoader.loadClass(ClassLoader.java:247) ... 还有 9 个

不用说，hipi-0.0.1.jar，里面有路径：hipi/imagebundle/mapreduce/ImageBundleInputFormat.java

肿瘤坏死因子

我按照此处给出的说明设置了“hadoop” 。我成功下载并部署了它，可以运行除historyserver之外的所有守护进程并运行示例程序。当我运行 sbin/yarn-daemon.sh start historyserver 时，显示以下错误。

任何人都可以在这个问题上帮助我吗？

Cloudera 将 webhdfs 滚动到最新的 cd3u4 中，但我无法找到可以启用此功能的位置。我意识到有一个条目 dfs.webhdfs.enabled 您可以在 hdfs-site.xml 中手动编辑。在 cdh3 发行版中，是否有一个安全的地方可以放置 dfs.webhdfs.enabled 配置？有人可以帮我指出正确的方向吗？