0

我正在使用 SOLR 6.0.0，我使用数据导入处理程序来处理从 MySQL 到 SOLR 的索引。

我的 db-data-config.xml 文件中有以下查询

<entity name="user" query="SELECT ID, A, B, C FROM `USER` U WHERE U.ID = '${dataimporter.request.id}' OR '' = '${dataimporter.request.id}'">
    <field column="A" name="A" ....
    .......
</entity>

基本上，如果我传递 id，它将仅索引该 ID，否则它将索引整个表。

现在的问题是，

我有一个频繁的插入更新。

在第一次插入后，我向单个 id/doc/row 的索引发送请求，就在几毫秒后，记录被更新，所以我再次发送请求以索引相同的 id。现在看来 SOLR 跳过了第二个请求，因为我可以看到两个请求都已发送，但 SOLR 中不存在更新的数据。

这也发生在非唯一的项目上（不同的 id）。我同时请求两个或三个数据导入，solr 跳过/忽略第二个请求。

我用 http 方法请求它，发送以下查询，

http://localhost:8983/solr/user/dataimport?command=full-import&verbose=false&clean=false&commit=true&optimize=false&core=user&id=1
4

1 回答 1

0

如果 DIH 处理程序正忙于运行请求，将忽略您发送给它的任何其他请求。

因此，您必须审查有关如何/何时调用 DIH 的方法，一些想法：

  • 正如您所说，您的编辑频率很高，按 id 重新索引似乎不是最好的事情，基于时间的某些东西似乎更具可扩展性。您可以添加一个“lastUpdated”列（在创建/更新行时通过触发器填充），然后每 X 调用一次重新索引（1 分钟、5 分钟......无论你能负担得起什么）。如果一个请求被忽略，没有数据丢失，那么应该重新索引的行将在下一个运行的增量上重新索引。
  • 如果您想保留基于 id 的方法，您需要：\
    • 等到上一个 DIH 请求完成后再发送一个新请求
    • 允许一些缓冲区，您可以在等待时继续添加 id
    • 允许在您的 dih 配置中使用多个 id
于 2017-05-04T14:40:59.033 回答