0

我想阅读几乎处于分页和 335 条记录中的项目列表的“标题”。我想做的是:1)首先我在windows cmd中通过这个命令得到浏览器的响应:

scrapy shell https://www.slingshotinsights.com/projects

2)它显示了在cmd中呈现的HTML,接下来我写

reponse.css('a.grey-link').extract()

然后按回车,它给了我 [] '空数组'。

问题是,如何从登录后出现的 URL 的爬虫脚本中获取数据?因为https://www.slingshotinsights.com/projects是用户成功登录页面时的链接。

而且可能是scrapy无法找到

reponse.css('a.grey-link').extract()

css 选择器,因为它无法在注销视图中加载。

4

0 回答 0