python - 用于下载邮件列表档案的开源项目，最好使用 Python

Question

我有兴趣知道是否有任何开源项目（最好是 Python）可用于下载（抓取？）开源项目的邮件列表存档，例如 Lucene/Hadoop（例如http://mail-archives .apache.org/mod_mbox/lucene-java-user/）。我正在特别寻找为（Apache）邮件列表档案定制的爬虫/下载器（不是通用爬虫，如 Scrappy）。任何指针都受到高度赞赏。谢谢你。

Answer 1

通常有下载 mbox 文件的工具。例如，在您提供的链接中，您可以附加 mbox 名称并直接获取邮件存档。例如，2012 年 10 月的 mbox：

http://mail-archives.apache.org/mod_mbox/lucene-java-user/201210.mbox

因此，以编程方式获取档案非常简单。一旦你拥有它们：

import mailbox
mails = mailbox.mbox(filename.mbox)
for message in mails: print message['subject']