0

我对python相当陌生，我想将一组句子转换为二元组，有没有办法做到这一点？例如

X = ['I like u', 'u like me', ...]

如果 ngram = 2 我期待词汇有类似的东西

[0: 'I ',
 1: ' l',
 2: 'li',
 3: 'ik',
 4: 'ke',
 5: 'e ',
 6: ' u',
 7: 'u ',
 8: ' m',
 9: 'me'...]

所以 X 可以转换为

 X_conv = [ '0, 1, 2, 3, 4, 5, 6',
            '7, 1, 2, 3, 4, 5, 8, 9',....]

有没有我可以用 countvectorizer 做的功能？

4

1 回答 1

1

说，你有这个功能ngrams：

def ngrams(text, n=2):
    return [text[i:i+n] for i in range(len(text)-n+1)]

现在将其应用于列表的所有元素相当容易：

>>> sentences = ['I like u', 'u like me']
>>> processed = [ngrams(sentence, n=2) for sentence in sentences]
>>> processed
[['I ', ' l', 'li', 'ik', 'ke', 'e ', ' u'], 
 ['u ', ' l', 'li', 'ik', 'ke', 'e ', ' m', 'me']]

所以这很容易。要对 ngram 进行编号，您可以构建嵌套的 for 循环，但它看起来不太好。

相反，我们可以使用一个技巧: collections.defaultdict，如果它在第一次访问时不存在，它将创建一个新项目。我们将它与itertools.count()返回一个可迭代计数器结合起来。魔术__next__方法是一个可调用的，第一次调用时返回第一个数字，然后是第二个，依此类推。defaultdict每个新项目都会调用一次此方法

from collections import defaultdict
from itertools import count

reverse_vocabulary = defaultdict(count().__next__)
numbered = [[reverse_vocabulary[ngram] for ngram in sentence]
            for sentence in processed]
print(numbered)
# [[0, 1, 2, 3, 4, 5, 6], [7, 1, 2, 3, 4, 5, 8, 9]]

现在反向词汇与您想要的相反：

defaultdict(<...>, {' m': 8, ' u': 6, 'I ': 0, 'li': 2, 'u ': 7, 'e ': 5, 'ke': 4, 'ik': 3, 
                    ' l': 1, 'me': 9})

我们通过反转映射来制作它的普通字典：

vocabulary = {number: ngram for ngram, number in reverse_vocabulary.items()}

这导致词汇成为普通字典

{0: 'I ', 1: ' l', 2: 'li', 3: 'ik', 4: 'ke', 5: 'e ', 6: ' u', 7: 'u ', 8: ' m', 9: 'me'}
于 2017-10-08T07:13:04.693 回答