3

if someone can help on:

  1. How to set a timeout for each individual test ? a timeout for the total experiment ?
  2. How to setup a progressive strategy which would eliminate/prune a % of worst scoring branches of search space at different stage of the experiment (while using current optimization algorithms) ? ie. at 30% of the max total experiment, it could remove 50% of the worst scoring classifiers and all its branch of hyperparameters to remove it from upcoming tests. Then, same process at 60%...

Thanks a lot!

4

2 回答 2

5

根据我在 hyperopt 的 github 上的交流：

  1. 没有每次试用超时，但 hyperopt-sklearn 仅通过包装函数来实现自己的解决方案。请在https://github.com/hyperopt/hyperopt-sklearn/中查找“fn_with_timeout” 。

  2. 从第 210 期开始：“优化器是无状态的，并且 fmin 将实验的所有状态存储在试验对象中。因此，如果您从试验对象中删除一些实验，就好像它们从未发生过一样。使用 fmin 的“max_evals”参数来中断搜索只要您需要进行此类修改。如果您想要真正细粒度的控制，则可以使用重复调用，例如 max_evals 每次增加 1。

于 2014-07-10T15:34:32.517 回答
1

感谢您对此进行调查，@doxav。我编写了一些代码来解决问题 1，fn_with_timeout从中提取一部分hyperopt-sklearn并将其改编为标准 Hyperopt 成本函数。

你可以在这里找到它： https ://gist.github.com/hunse/247d91d14aaa8f32b24533767353e35d

于 2017-02-14T18:22:03.663 回答