c# - 使用 HTML 解析器时如何加载网页上的所有项目？

Question

我正在尝试获取某个网页上所有可供购买的商品的列表。但是，网页一次只加载 12 个项目，直到用户向下滚动，然后再加载 12 个项目。有没有办法在 C# 或 Python 中使用任何开源库来“查看”所有可用的项目，而无需实际进入页面并向下滚动？

使用 Chrome 的开发人员工具，我只能“看到”HTML 窗口中的 12 个项目，直到我在网页上向下滚动并加载更多内容。

注意：我在 C#/Python 网络抓取方面相对较新，所以我很感激任何深入的答案！

编辑：如果我要使用 Selenium 之类的东西，是否可以以编程方式加载所有内容？如果是这样，怎么做？

Answer 1

Web 浏览器本身显然可以加载更多的项目，而 Web 浏览器只是一个程序，所以是的，可以编写一个程序来做到这一点。

但是你实际上是在编写一个迷你网络浏览器，这需要大量的工作。

网站本身是否提供了一次加载更多项目的方法？即，一些网站在页面角落提供链接或下拉菜单，允许您增加显示的最大项目数。