0

作为实习的一部分,我必须下载 Hadoop 和 Spark,并在 Common Crawl 的一些数据上对其进行测试。我尝试按照此页面的步骤https://github.com/commoncrawl/cc-pyspark#get-sample-data(我在我的计算机上安装 Spark 3.0.0)但是当我在我的计算机上尝试它时(我使用Ubuntu)我有很多错误,它似乎不起作用。
特别是,当我执行程序“serverur_count.py”时,我有很多行是这样写的: Failed to open /home/root/CommonCrawl/... 并且程序突然以书面形式结束:.MapOutputTrackerMasterEndpoint 停止。你知道如何纠正这个吗?(这是我第一次使用这些软件)对不起我的英语并提前感谢您的回复

4

0 回答 0