asp-classic - IIS 设置影响搜索结果的机器人

Question

这是一个很难解释的问题。我相信由于 iis/站点的设置方式，google bot 会感到困惑。实际问题是，在搜索 Google 时，结果是 www.someSiteURL.com，下面的描述是：

由于此站点的 robots.txt，无法获得此结果的描述 - 了解更多信息。

我认为问题存在的原因是相当清楚的。使用上面的示例，www.someSiteURL.com/default.asp 处没有页面内容。在此级别，有一个 default.asp 文件，其中包含大量重定向，可将用户带到站点所在的正确物理目录。这些站点都位于 IIS 中的一个根“站点”下，如下所示：

siteOneDir
siteTwoDir  
siteThreeDir
default.asp (this is the page with the redirects)

您如何在不更改 IP 地址的站点设置/使用的情况下克服这个问题？

这是 robots.txt 文件：

User-agent: *
Allow: /default.asp
Allow: /siteOneDir/
Allow: /siteTwoDir/
Allow: /siteThreeDir/
Disallow: /

顺便说一句，谷歌网站管理员工具说这是有效的。我知道有些客户可能无法识别“允许”，但 Google 和 Bing 会这样做，所以我不在乎。我宁愿禁止所有，然后只允许站点，而不是仅使用它来禁止特定站点。

如果我使用 Google 网站管理员工具 Crawl > Fetch a Google 并输入 www.someSiteURL.com/default.asp 它的状态为“已重定向”并且其状态为 http/1.1 302 found

score 0 · Accepted Answer

我相信 robots.txt 中项目的顺序很重要。尝试将禁止放在首位，即。改成：

User-agent: *
Disallow: /
Allow: /default.asp
Allow: /siteOneDir/
Allow: /siteTwoDir/
Allow: /siteThreeDir/

1 回答 1