5

我正在尝试设置 hadoop 和 nutch 在 EC2 上运行。首先,我遵循了优秀的NutchHadoopTutorial。除了我无法访问任何 Web 界面(例如 JobTracker)之外,大多数事情都可以正常工作。JobTracker 启动时没有错误,我可以点击nutch-master:50030,但是我得到了看起来像 jetty 的默认 servlet,它返回一个指向 webapps 目录的链接,然后从那里返回一个作业目录,然后是一个指向nutch-master:50030/webapps/job/jobtracker.jsp--的链接为 .返回 404 RequestURI=/webapps/job/jobtracker.jsp。我检查了类路径,所有应该存在的东西实际上都是可用的:

/usr/lib/jvm/java-6-openjdk/bin/java -Xmx1000m -Dhadoop.log.dir=/nutch/search/logs -Dhadoop.log.file=hadoop-nutch-jobtracker-nutch-master.log -Dhadoop.home.dir=/nutch/search -Dhadoop.id.str=nutch -Dhadoop.root.logger=INFO,DRFA -Djava.library.path=/nutch/search/lib/native/Linux-i386-32 -Dhadoop.policy.file=hadoop-policy.xml -classpath /nutch/search/bin/../conf:/usr/lib/jvm/java-6-openjdk/lib/tools.jar:/nutch/search/hadoop-0.20.2-core.jar:/nutch/search/lib/apache-solr-core-1.4.0.jar:/nutch/search/lib/apache-solr-solrj-1.4.0.jar:/nutch/search/lib/commons-beanutils-1.8.0.jar:/nutch/search/lib/commons-cli-1.2.jar:/nutch/search/lib/commons-codec-1.3.jar:/nutch/search/lib/commons-collections-3.2.1.jar:/nutch/search/lib/commons-el-1.0.jar:/nutch/search/lib/commons-httpclient-3.1.jar:/nutch/search/lib/commons-io-1.4.jar:/nutch/search/lib/commons-lang-2.1.jar:/nutch/search/lib/commons-logging-1.0.4.jar:/nutch/search/lib/commons-logging-api-1.0.4.jar:/nutch/search/lib/commons-net-1.4.1.jar:/nutch/search/lib/core-3.1.1.jar:/nutch/search/lib/geronimo-stax-api_1.0_spec-1.0.1.jar:/nutch/search/lib/hadoop-0.20.2-core.jar:/nutch/search/lib/hadoop-0.20.2-tools.jar:/nutch/search/lib/hsqldb-1.8.0.10.jar:/nutch/search/lib/icu4j-4_0_1.jar:/nutch/search/lib/jakarta-oro-2.0.8.jar:/nutch/search/lib/jasper-compiler-5.5.12.jar:/nutch/search/lib/jasper-runtime-5.5.12.jar:/nutch/search/lib/jcl-over-slf4j-1.5.5.jar:/nutch/search/lib/jets3t-0.6.1.jar:/nutch/search/lib/jetty-6.1.14.jar:/nutch/search/lib/jetty-util-6.1.14.jar:/nutch/search/lib/junit-3.8.1.jar:/nutch/search/lib/kfs-0.2.2.jar:/nutch/search/lib/log4j-1.2.15.jar:/nutch/search/lib/lucene-core-3.0.1.jar:/nutch/search/lib/lucene-misc-3.0.1.jar:/nutch/search/lib/oro-2.0.8.jar:/nutch/search/lib/resolver.jar:/nutch/search/lib/serializer.jar:/nutch/search/lib/servlet-api-2.5-6.1.14.jar:/nutch/search/lib/slf4j-api-1.5.5.jar:/nutch/search/lib/slf4j-log4j12-1.4.3.jar:/nutch/search/lib/taglibs-i18n.jar:/nutch/search/lib/tika-core-0.7.jar:/nutch/search/lib/wstx-asl-3.2.7.jar:/nutch/search/lib/xercesImpl.jar:/nutch/search/lib/xml-apis.jar:/nutch/search/lib/xmlenc-0.52.jar:/nutch/search/lib/jsp-2.1/jsp-2.1.jar:/nutch/search/lib/jsp-2.1/jsp-api-2.1.jar org.apache.hadoop.mapred.JobTracker

我已经在谷歌上搜索并尝试了大约 8 个小时的不同事情,但我完全不知道可能出了什么问题。我敢肯定,我忽略了一些非常明显的事情。有人有什么主意吗?

更多细节:这是 EC2 上的一个三节点集群,我可以在每个节点之间使用密码进行 ssh,并且节点似乎正在通信而没有问题(即日志中没有异常)。它们都是 ubuntu 10.04 服务器。Hadoop 0.20.2。

提前致谢。

4

0 回答 0