1

我想在运行 DQN 或 DDPG 模型后打印参数和结果。我在 jupyter notebook 中触发了模型，如下所示。

定义配置和对象并调用训练。如下：

但这并没有打印模型参数和结果。请澄清如何打印这些？

Ubuntu EC2 实例 Jupyter notebook DQN 上的购物车杆示例。还想使用我的自定义体验数据集为我的问题设置（在线电子商务数据）进行政策培训

config_dict = {"evaluation_num_episodes":4,"num_workers": 10, "sample_batch_size": 200, 
               "train_batch_size": 200, "output": "outputdir", "gamma": 0.99, 
               "horizon": None,  
               "input": "sampler", 
               "optimizer_class": "SyncReplayOptimizer", "optimizer": {"prioritized_replay":True}, 
               "input_evaluation": ["is", "wis"], "callbacks": {"on_train_result": on_train_result},
               "ignore_worker_failures":True}


trainer = dqn.DQNAgent(config=config, env="CartPole-v0")

for epi in range(2):
    result = trainer.train()
    print(pretty_print(result))
    if epi %1000 ==0:
        checkpoint = trainer.save()
        print("checkpoint saved at", checkpoint)

带有模型参数和结果 json 的文件夹

4

1 回答 1

0

结果可以在 ~/ray_results 目录中找到。配置将在 params.json 文件中，结果在 results.json 中。TensorBoard 事件文件也将被写入，您可以使用 tensorboard --logdir=~/ray_results 将结果可视化。

这里有更多信息：https ://ray.readthedocs.io/en/latest/rllib-training.html#getting-started

顺便说一句，对于离线批处理 RL，文档是这个页面：https ://ray.readthedocs.io/en/latest/rllib-offline.html

于 2019-04-12T21:22:29.567 回答