0

我用这个训练了估计器：

def train_estimator(feature_list, expected_values, k=5):
    pipeline = Pipeline([('vect', CountVectorizer(input='filename', stop_words='english')),
                         ('clf', MultinomialNB())])

    parameters = {'vect__ngram_range':[(1, 1), (1, 2), (1, 3)],
                  'vect__min_df':[0.001, 0.01, 0.02, 0.05, 0.1],
                  'vect__max_df':[0.85, 0.90, 0.95, 0.99, 1.0],
                  'clf__alpha':[0.001, 0.01, 0.1, 0.2, 0.5, 1.0]}

    gs_clf = GridSearchCV(pipeline, parameters, n_jobs=6, cv=k, verbose=1, refit=True, scoring='roc_auc')
    gs_clf.fit(feature_list, expected_values)

    return gs_clf.best_estimator_

现在我需要用这个估计器对一些文本进行分类，但不清楚如何正确地对文本进行矢量化。

我需要向量化text，然后estimator.predict()用向量调用。问题是，这个向量必须与用于训练的向量一致estimator（单词foobar必须与用于训练模型的向量具有相同的索引）。从文档中不清楚如何以text这种方式进行矢量化。

这个predict()函数怎么写？

def predict(estimator, text):
    # Vectorize text and call estimator.predict()

编辑

feature_list并expected_values制作如下：

def fetch_training_set(doc_iterator):
    files, labels = list(), list()
    for row in doc_iterator:
        filename = 'somepath/%s.txt' % random()
        with open(filename, 'w', encoding='utf-8') as f:
            f.write(row['text'])

        files.append(filename)
        labels.append(row['label'])

    feature_list = np.array(files)
    expected_values = np.array(labels)

    return feature_list, expected_values
4

1 回答 1

0

train_estimator我认为添加您的额外功能predict会使事情变得复杂。

gs_clf = GridSearchCV(pipeline, parameters, n_jobs=6, cv=k, verbose=1, refit=True, scoring='roc_auc')
gs_clf.fit(feature_list, expected_values)
gs_clf.predict(your_data)

将完成这项工作（最后一行）。由于您改装 ( refit=True) 您的管道，gs_clf因此使用网格搜索找到的最佳参数进行改装。然后，gs_clf.predict将调用predict管道中每个成员的函数。

于 2017-03-10T10:46:57.287 回答