0

我目前正在使用 htaccess 执行此操作

RewriteRule ^view$ view.php [L]

我链接到/view没有扩展名，它工作正常。但是如何禁用机器人索引/view？在robots.txt我放的

Disallow: /view.php
Disallow: /view

当我进入网站管理员工具并以谷歌的身份获取时。我可以获取mydomain.com/view，这不应该发生，但是当我尝试获取mydomain.com/view.php它时说被 robots.txt 阻止了，这很好。

如何阻止/view机器人访问？

4

1 回答 1

0

线

Disallow: /view

应该阻止以下 URL：

  • example.com/view
  • example.com/view/
  • example.com/view/foobar
  • example.com/view.php
  • example.com/viewer

如您所见，您根本不需要Disallow: /view.php。

所以似乎有一个不同的问题。这是最近的变化吗？也许 Google 缓存了您的 robots.txt 的旧变体。我不知道这个抓取工具，但也许问题与重定向有关？我猜应该将 Google 抓取工具重定向到/view.php.

于 2013-02-16T17:15:37.210 回答