transform - 如果我只是“vectorizer.transform(phrase)”而不拟合它会发生什么？

Question

在将短语向量化并将它们放入矩阵形式时，有些事情让我感到困惑。

当您导入 CountVectorizer 或 TfidfVectorizer 时，

.fit & .transform & .fit_transform 函数有什么区别？

我知道'.fit'会学习ngrams，分成ngrams。

'.transform' 会将其放入短语 x ngram 矩阵中。

'.fit_transform' 作为 .fit 和 .transform 的组合使用

如果是这种情况，如果我只是 vectorize.transform(phrase) 而没有拟合它会发生什么？

我看到本教程设置了适合和转换火车数据，但对于测试数据，它只对预测进行“转换”操作。

提前谢谢大家。

Answer 1

强调：

1. .transform(X)= 将字典特征转换为二维特征矩阵。
2. .fit_transform(X)= 学习特征名称 +.transform(X)

要回答您的问题：

您.transform只能在学习使用.fit. 直接应用.transform将忽略任何未遇到的特征.fit，因此不会输出任何分类结果。

参考：

• 根据http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.DictVectorizer.html#sklearn.feature_extraction.DictVectorizer.transform中的文档，.transform(X)将任何dict X（映射feature_name到feature_values）转换为二维特征矩阵. 二维矩阵是将条目输入分类器的正确方法（根据矢量数学）。
• 根据http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.DictVectorizer.html#sklearn.feature_extraction.DictVectorizer.fit_transform，.fit_transform(X,y=None)首先，学习输入中的特征名称列表dict X（术语学习过程称为fitting)，其次，应用transform上一段中所述的程序。