我想阅读几乎处于分页和 335 条记录中的项目列表的“标题”。我想做的是:1)首先我在windows cmd中通过这个命令得到浏览器的响应:
scrapy shell https://www.slingshotinsights.com/projects
2)它显示了在cmd中呈现的HTML,接下来我写
reponse.css('a.grey-link').extract()
然后按回车,它给了我 [] '空数组'。
问题是,如何从登录后出现的 URL 的爬虫脚本中获取数据?因为https://www.slingshotinsights.com/projects是用户成功登录页面时的链接。
而且可能是scrapy无法找到
reponse.css('a.grey-link').extract()
css 选择器,因为它无法在注销视图中加载。