scikit-learn - 带有逻辑回归的 sklearn RFE

Question

我正在尝试使用RFE特征选择创建逻辑回归模型。

weights = {0:1, 1:5}
model = LogisticRegression(solver='lbfgs', max_iter=5000, class_weight=weights)
rfe = RFE(model, 25)
rfe_model = rfe.fit(X_train, y_train)
print(rfe_model.support_)
print(selector.ranking_)

我得到：

array([ True,  True,  True,  True,  True, False, False, False, False, False])
array([1, 1, 1, 1, 1, 6, 4, 3, 2, 5])

如何使用rfe_model.support_提取所选特征列表（对数据框进行子集化）并制作仅具有这些特征的模型（手动除外，通过制作 for 循环广告对特征列表本身进行子集化）？有没有更优雅的方式？

额外问题：我在哪里可以找到有关逻辑回归特征选择的更多信息（不包括向后、向前和逐步方法）？

Answer 1

为此使用管道，例如：

selector = RFE(LogisticRegression(), 25)
final_clf = SVC()
rfe_model = Pipeline([("rfe",selector),('model',final_clf)])

现在，当您调用 时rfe_model.fit(X,y)，Pipeline将首先使用转换数据（即选择特征）RFE并将转换后的数据发送到SVC。您现在还可以使用GridSearchCV,cross_validate和所有其他类型的内置函数rfe_model。