3

我不希望长度小于 3 或大于 7 的术语。在 R 中有一种直接的方法，但在 Python 中我不确定。我试过这个，但还是不行

from sklearn.feature_extraction.text import CountVectorizer
regex1 = '/^[a-zA-Z]{3,7}$/'
vectorizer = CountVectorizer( analyzer='word',tokenizer= tokenize,stop_words = stopwords,token_pattern  = regex1,min_df= 2, max_df = 0.9,max_features = 2000)
vectorizer1 = vectorizer.fit_transform(token_dict.values())

也尝试过其他正则表达式 -

  "^[a-zA-Z]{3,7}$"
r'^[a-zA-Z]{3,7}$'
4

2 回答 2

2

在CountVectorizer的文档中，默认token_pattern采用 2 个或更多字母数字字符的标记。如果你想改变这个，传递你自己的正则表达式

在您的情况下，添加token_pattern = "^[a-zA-Z]{3,7}$"到选项CountVectorizer

编辑

应该使用的正则表达式是[a-zA-Z]{3,7}. 请参阅下面的示例 -

doc1 = ["Elon Musk is genius", "Are you mad", "Constitutional Ammendments in Indian Parliament",\
        "Constitutional Ammendments in Indian Assembly", "House of Cards", "Indian House"]

from sklearn.feature_extraction.text import CountVectorizer

regex1 = '[a-zA-Z]{3,7}'
vectorizer = CountVectorizer(analyzer='word', stop_words = 'english', token_pattern  = regex1)
vectorizer1 = vectorizer.fit_transform(doc1)

vectorizer.vocabulary_

结果 -

{u'ammendm': 0,
 u'assembl': 1,
 u'cards': 2,
 u'constit': 3,
 u'elon': 4,
 u'ent': 5,
 u'ents': 6,
 u'genius': 7,
 u'house': 8,
 u'indian': 9,
 u'mad': 10,
 u'musk': 11,
 u'parliam': 12,
 u'utional': 13}
于 2018-05-03T10:21:35.633 回答
1

我认为您的正则表达式模式在这里是错误的。它的 Javscript。它应该像

regex1 = r'^[a-zA-Z]{3,7}$'

另外我假设正则表达式应该匹配整个字符串而不是某个子字符串。所以如果一个字符串是likeaaaaabbb cc应该被丢弃。

如果不是，您应该使用单词边界\b而不是开始^和结束$锚点。所以应该是

regex1 = r'\b[a-zA-Z]{3,7}\b'

这是一个工作示例

from sklearn.feature_extraction.text import CountVectorizer
regex1 = r'\b[a-zA-Z]{3,7}\b'
token_dict = {123: 'horses', 345: 'ab'}
vectorizer = CountVectorizer(token_pattern  = regex1)
vectorizer1 = vectorizer.fit_transform(token_dict.values())

print(vectorizer.get_feature_names())

输出

['horses']
于 2018-05-03T10:18:41.157 回答