1

问题
我正在设置一个集群来运行图像分析（从 MPI 移动到 Dask 和 Dask.distributed）。我通过隧道连接到主节点，但我不知道如何访问散景服务器。

步骤
1. 通过 ssh 隧道连接到我的服务器主节点：
ssh -L 7000:localhost:7000 simone@server.se
2. 启动dask-scheduler --port 7001 --bokeh 7002
3.ssh到我要使用的节点（也在端口 7000 上建立隧道）并启动dask-worker --memory-limit=200e9
4. 启动jupyter notebook --port=7000 --no-browser并打开一个chrome会话并将浏览器指向localhost:7000
5. 启动Client()指向调度程序地址
6.的aX11 forwarding已损坏，我无法在笔记本电脑上使用它

当我查看dask-scheduler页面的输出时，我得到： 

distributed.scheduler - INFO - -----------------------------------------------
distributed.scheduler - INFO -   Scheduler at: tcp://130.237.132.207:7001
distributed.scheduler - INFO -        http at:              0.0.0.0:9786
distributed.scheduler - INFO -       bokeh at:              0.0.0.0:7002
distributed.scheduler - INFO - Local Directory:    /tmp/scheduler-4we9jlcj
distributed.scheduler - INFO - -----------------------------------------------
distributed.scheduler - INFO - Register tcp://192.168.0.3:43973
distributed.scheduler - INFO - Starting worker compute stream, 
tcp://192.168.0.3:43973
distributed.scheduler - INFO - Receive client connection: Client-6967349a-
872f-11e7-a595-0cc47a8ebf44

并且client似乎正确连接到工人： 

Scheduler: tcp://130.237.132.207:7001
Dashboard: http://130.237.132.207:7002
Workers: 1
Cores: 56
Memory: 200.00 GB

问题
1) 将浏览器指向port 7000而不是port 7001设置时间表的位置是否正确？仅供参考：如果我使用 localhost:7001 或任何调度程序和仪表板的 IP 地址，我无法从浏览器加载任何内容。2) 如何访问散景图以评估性能？
3）额外的好处：有没有一种方法可以让我启动多个工人dask-ssh并传递参数，例如--memory-limit

谢谢！

4

1 回答 1

2

看起来您在端口 7002 上托管散景仪表板。您还需要为该端口设置第二个 ssh 隧道。这可能如下所示：

ssh -L 7002:localhost:7002 simone@server.se
open http://localhost:7002

将关键字传递给dask-ssh听起来是个好主意。我建议打开一个问题，如果你有时间，也许是一个拉取请求:)

于 2017-08-22T13:29:08.810 回答