0

我已经安装了 spark-1.5.1 独立模式并使用 spark-submit 命令获取结果。实际上我想使用 spark hidden rest API 获得结果。当 spark-driver 停止时,我无法使用 rest API 获得结果。

使用 spark-submit 挖掘后,我发现在输出所有 spark-context 后,驱动程序被停止。

有人可以帮忙吗

这是控制台结果:-

结果-a 行:60,b 行:29 15/11/01 08:46:08 INFO SparkContext:从关闭挂钩调用 stop() 15/11/01 08:46:08 INFO ContextHandler:停止 oejsServletContextHandler{ /metrics/json,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/stages/stage/kill,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/api ,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/static,null} 15/11/01 08 :46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/executors/threadDump/json,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/executors/threadDump,null} 15/11/01 08:46 :08 INFO ContextHandler: 停止 oejsServletContextHandler{/executors/json,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/executors,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/environment/json ,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/environment,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/storage/rdd/json,null} 15 /11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/storage/rdd,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/storage/json,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/storage,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/stages/pool/json,null} 15/11/01 08:46: 08 信息上下文处理程序:停止 oejsServletContextHandler{/stages/pool,null} 15/11/01 08:46:08 信息 ContextHandler:停止 oejsServletContextHandler{/stages/stage/json,null} 15/11/01 08:46:08 信息 ContextHandler:停止 oejsServletContextHandler {/stages/stage,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/stages/json,null} 15/11/01 08:46:08 INFO ContextHandler: 停止 oejsServletContextHandler{/stages,空} 15/11/01 08:46:08 信息上下文处理程序:停止 oejsServletContextHandler{/jobs/job/json,null} 15/11/01 08:46:08 信息上下文处理程序:停止 oejsServletContextHandler{/jobs/job,null} 15/11/01 08:46:08 INFO ContextHandler:停止 oejsServletContextHandler{/jobs/json,null} 15/11/01 08:46:08 INFO ContextHandler:停止 oejsServletContextHandler{/jobs,null} 15/11/01 08 :46:08 信息 SparkUI:停止 Spark Web UI 于http://182.95.208.242:4040 15/11/01 08:46:08 INFO DAGScheduler:停止 DAGScheduler 15/11/01 08:46:08 INFO SparkDeploySchedulerBackend:关闭所有执行程序 15/11/01 08:46:08 INFO SparkDeploySchedulerBackend:要求每个执行程序关闭下来 15/11/01 08:46:09 信息 MapOutputTrackerMasterEndpoint:MapOutputTrackerMasterEndpoint 停止了!15/11/01 08:46:09 信息 MemoryStore:MemoryStore 已清除 15/11/01 08:46:09 信息 BlockManager:BlockManager 停止 15/11/01 08:46:09 信息 BlockManagerMaster:BlockManagerMaster 停止 15/11/01 08:46:09 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint:OutputCommitCoordinator 停止!15/11/01 08:46:09 信息 SparkContext:成功停止 SparkContext 15/11/01 08:46:09 信息 ShutdownHookManager:关闭挂钩调用 15/11/01 08:46:09 信息 ShutdownHookManager:删除目录 /tmp/spark-a2d4622c-d3c0-447b-aa73-21a3b6af1539 15/11/01 08:46:09 INFO RemoteActorRefProvider$RemotingTerminator:关闭远程守护程序。15/11/01 08:46:09 INFO RemoteActorRefProvider$RemotingTerminator:远程守护进程关闭;继续冲洗远程传输。ipieawb1@master:~/spark-1.5.1/bin$

我正在尝试运行简单的代码,例如

公共类 SimpleApp { public static void main(String[] args) 抛出 InterruptedException {

SparkConf conf = new SparkConf().setAppName("Simple Application").
        setMaster("spark://master.genpact.com:7078").set("spark.eventLog.enabled", "true");
File tempDir=Files.createTempDir();
tempDir.deleteOnExit();
JavaSparkContext sc = new JavaSparkContext(conf);
java.util.List<String> strings = Arrays.asList("Hello", "World");
JavaRDD<String> s1 = sc.parallelize(strings);
JavaRDD<String> s2 = sc.parallelize(strings);
// Varargs
JavaRDD<String> sUnion = sc.union(s1, s2);
System.out.println("Union *******"+sUnion.collect());

} }

4

0 回答 0