我试图在发布后立即获得最新的媒体帖子。
我尝试了几种方法,但都晚了几分钟。
第一种方法:medium 有一个 rss api https://medium.com/feed/@ 不过,这个 api 似乎只每隔几分钟更新一次(lastBuildDate)。
第二种方法(当前):我只是使用 pythons 请求和 bs4 模块对https://medium.com/@进行网络抓取。我认为这种方法会起作用,但似乎这个页面本身在发布新帖子时并没有更新,而是在几分钟后再次更新。这可能只是我的一个问题,但每次我尝试这种方法时,它似乎只会在它实际发布几分钟后检测到一个新帖子。
我将尝试使用 selenium 再次编写它,但这并不理想,因为我想在云服务器上运行它,而 selenium 通过打开浏览器来工作。