0

我正在使用TextClassificationEngine. 在https://docs.prediction.io/demo/textclassification/给出示例,有两种算法(朴素贝叶斯和逻辑回归)用于文本分类。朴素贝叶斯算法工作正常,但是当我使用逻辑回归时,它给出了一些错误。

{
  "id": "default",
  "description": "Default settings",
  "engineFactory": "org.template.textclassification.TextClassificationEngine",
  "datasource": {
    "params": {
      "appName": "Logistic"
    }
  },
  "preparator": {
    "params": {
      "nGram": 2
    }
  },
  "algorithms": [
    {
      "name": "regParam",
      "params": {
        "regParam":2,5
      }
    }
  ]
} 

上面的代码是现场给出的,regParam由于数组,它有一些错误。谁能解释一下逻辑回归的最终结果是regParam什么?engine.jsonengine.json

4

1 回答 1

1

这是文档中的一个错误,我将提交一个 pull 来修复它。

regParam 期待双倍,所以像 "regParam":0.1

具体来说,这个参数(在 Spark ML 中)用于 L2 正则化,通过惩罚过于复杂的模型来减少过度拟合(模型不能很好地泛化)的机会。

使用的确切值是一个经验问题,如果您担心在 regParam 的值空间上进行一些搜索的值,我建议您使用保留的验证集(或 k 折)来确定获胜者。

于 2015-09-28T15:51:44.353 回答