自 3 个月前以来,我一直在从网站上抓取数据,但今天我无法再访问该网站,也无法使用我的网络浏览器。该网站仍可通过手机访问。当我在 Scrapy shell 中测试链接时,我收到此消息:
twisted.internet.error.TCPTimedOutError: TCP connection timed out: 10060
你觉得我被列入黑名单了吗?还是技术问题?
我在 Windows 10 下通过 docker 使用 python3 + scrapy + splash。
自 3 个月前以来,我一直在从网站上抓取数据,但今天我无法再访问该网站,也无法使用我的网络浏览器。该网站仍可通过手机访问。当我在 Scrapy shell 中测试链接时,我收到此消息:
twisted.internet.error.TCPTimedOutError: TCP connection timed out: 10060
你觉得我被列入黑名单了吗?还是技术问题?
我在 Windows 10 下通过 docker 使用 python3 + scrapy + splash。
我认为我的 IP 被禁止了,因为我无法通过我的网络浏览器访问该网站,甚至无法在具有相同连接的其他计算机上访问该网站。当使用另一个 IP 地址时,该网站可以正常工作。我通过在我的项目中添加Scrapoxy来解决这个问题。