5

我希望将文本拆分为句子。谁能帮我？

我还需要处理缩写。但是我的计划是在更早的阶段替换这些。先生 -> 先生 

import re  
import unittest    

class Sentences:

    def __init__(self,text):
        self.sentences = tuple(re.split("[.!?]\s", text))

class TestSentences(unittest.TestCase):

    def testFullStop(self):
        self.assertEquals(Sentences("X. X.").sentences, ("X.","X."))

    def testQuestion(self):
        self.assertEquals(Sentences("X? X?").sentences, ("X?","X?"))

    def testExclaimation(self):
        self.assertEquals(Sentences("X! X!").sentences, ("X!","X!"))

    def testMixed(self):
        self.assertEquals(Sentences("X! X? X! X.").sentences, ("X!", "X?", "X!", "X."))

谢谢，巴里

编辑：首先，我很乐意满足上面包含的四个测试。这将帮助我更好地理解正则表达式是如何工作的。现在我可以将一个句子定义为 X. 等，如我的测试中定义的那样。

4

1 回答 1

5

句子分割可能是一项非常困难的任务，尤其是当文本包含点式缩写时。它可能需要使用已知缩写列表，或训练分类器来识别它们。

我建议您使用 NLTK - 它是一套开源 Python 模块，专为自然语言处理而设计。

您可以在此处阅读有关使用 NLTK 进行句子分割的信息，并自行决定该工具是否适合您。

编辑：或者更简单的here和here是源代码。这是 NLTK 中包含的 Punkt 句子标记器。

于 2011-08-25T10:32:33.737 回答