我已将我的网站的站点地图文件提交给中文百度。
我的站点地图包括:
1) 16 个使用 gzip 压缩的站点地图文件,每个文件少于 10Mb,并且包含少于 50K 的 url。
2)带有上述站点地图 gzip 文件链接的站点地图索引。
我看到的是百度非常奇怪的行为——它把我的一些站点地图文件标记为抓取失败(抓取失败),而其他的似乎正在处理(正常 - 正常)。
当我重新提交同一组站点地图时,其他文件随机变为失败抓取,而之前失败的文件可以正常处理。
除了百度消息“抓取失败”外,我找不到我的站点地图有什么问题。
我快疯了,因为百度非常随机地将文件标记为“抓取失败”。
谁能提出什么问题?
或者在哪里可以看到百度为什么“抓取失败”的确切错误消息?
最后,百度经过多次尝试,也将Sitemap Index文件标记为“爬取失败”(但提交后总是先处于“等待”状态,然后“未正常”正常爬取)
注意:Google、Yahoo/Bing、Yandex 成功处理了相同的文件!
截图请看这里:https ://drive.google.com/open?id=0BzDlz6j9c35WWkdwb3F6LW9zazA