1

我用 Kimono Labs 创建了 API，用于从网站生成 RSS 提要。它工作正常，每小时抓取一次数据，但是每隔几天它就会停止工作。没有错误，什么都没有。我可以看到抓取历史记录，之前的抓取成功，然后 API 停止抓取数据。直到我启动手动抓取。然后 API 再次开始工作，但只工作了几天。然后再一次，它停止了，我启动了手动爬网，它工作了一段时间。什么会导致这种行为？

4

2 回答 2

0

它是在 (?) 弹出框下的每个 API 中描述的预期行为：

<p>Auto-run frequency <span class="icon-question-circle" data-html="true" popover="Specify how often this API will automatically fetch new data from the target page(s). APIs are limited to 1 URL for a hourly auto-run, <1000 URLs for a daily auto-run, and <10,000 URLs for a weekly auto-run."></span></p>
于 2015-10-28T23:30:23.170 回答
0

无论如何，这是一个和服问题，现在已经解决了。我收到了来自支持部门的电子邮件

This is a crawling bug that we've now implemented handling for.
We are running a script that will check for queued scheduled crawls every hour
and start them if they are not running.
于 2015-10-30T07:38:03.520 回答