0

我的项目的一部分是在 ntriples 中索引 spo，我需要一些帮助来弄清楚如何通过 Java（或其他语言，如果可能的话）准确地做到这一点。

问题陈述：我们有大约 10 个扩展名为“. 三倍”。每个文件至少有 10k 三元组。这个文件的格式是多个RDF TRIPLE

<subject1_uri> <predicate1_uri> <object1_uri>
<subject2_uri> <predicate1_uri> <object2_uri>
<subject2_uri> <predicate1_uri> <object3_uri>
            …..
            …..

我需要执行的是，对这些主题、谓词和客体中的每一个进行索引，以便我们可以快速搜索和检索诸如“给我所有谓词1_uri 的主语和客体”等查询。

我使用此示例进行了尝试，但我看到这是在进行全文搜索。这似乎效率不高，因为 ntriple 文件可能高达每个文件 50MB。

然后我想到不进行全文搜索，而是将 spo 存储为索引文档，并将每个 (s,p,o) 存储为文档字段，并将另一个字段作为 Id（对应 ntriple 文件中 spo 的偏移量）。

我有两个问题：

  1. Lucene 是我想要实现的唯一选择吗？
  2. 索引文件本身的大小会大于数据本身大小的一半吗？！

任何和所有的帮助真的很感激。

4

1 回答 1

2

回答您的第一个问题：不，Lucene 不是这样做的唯一选择。您可以（并且可能应该）使用任何通用 RDF 数据库来存储三元组。然后，您可以使用他们的 Java API 或使用SPARQL查询三元组。我个人推荐Apache Jena作为使用 RDF 的 Java API。

如果您需要跨数据集中的文字进行自由文本搜索，可以通过Jena Text与 Apache Jena 集成 Lucene 。

关于索引大小，这完全取决于数据的熵。如果您在 NTRIPLE 文件中有 40,000 行，但都是相同三元组的所有复制，那么索引将相对较小。但是，通常 RDF 数据库会为数据创建多个索引，并且您会看到大小增加。

这种索引的主要好处是，您可以提出比“给我 predicate1_uri 的所有主语和宾语”更通用的问题。这个问题可以通过线性处理所有 NTRIPLE 文件来回答，甚至不知道您正在使用 RDF。以下类似 SPARQL 的查询显示了这些数据存储促进的更困难搜索的示例：

SELECT DISTINCT ?owner
WHERE {
  ?owner :owns ?thing
  ?thing rdf:type/rdfs:subClassOf :Automobile
  ?thing :hasColor "red"@en
}

在前面的查询中，我们定位汽车或任何更具体的汽车子类的所有者，只要该东西的颜色是“红色”（如英文中指定）。

于 2018-03-30T13:40:01.193 回答