1

所以我在网上抓取谷歌,我很确定它会根据 IP 地址阻止我的请求。我已经将我的应用程序部署到 Heroku(在 dynos 重新启动时具有动态 IP 地址),并且我注意到如果应用程序启动,在 5 个请求后,它们将无法正确抓取。如果我重新启动达因,那么在它停止抓取之前我会收到另外 5 个请求。这让我相信测功机启动时的静态 IP 地址是问题所在。我查看了 QuotaGuard 动态 IP(https://devcenter.heroku.com/articles/quotaguard),但我认为这不会起作用,因为 Google 似乎是 https。之前有没有人通过 Heroku 上的不同 IP 动态代理他们的请求(如果有,你推荐使用什么)?我在 Node.js 环境中工作。

4

1 回答 1

1

使用代理,有大量的付费/免费代理。您可以在每个请求上轮换代理。请注意,有不同类型的代理。数据中心 IP、住宅 IP 和最昂贵的移动 IP。

于 2021-05-17T10:04:05.633 回答