python - 如何从网页中提取URL

Question

我需要一种使用 Python从该网页https://iota-nodes.net/的列表中提取 url 的方法。我试过 BeautifulSoup 但没有成功。我的代码是：

from bs4 import BeautifulSoup, SoupStrainer
import requests

url = "https://iota-nodes.net/"

page = requests.get(url)    
data = page.text
soup = BeautifulSoup(data)

for link in soup.find_all('a'):
   print(link.get('href'))

Answer 1

不需要 BeautifulSoup，因为数据来自 AJAX 请求。像这样的东西应该工作：

import requests

response = requests.get('https://api.iota-nodes.net/')
data = response.json()

hostnames = [node['hostname'] for node in data]

请注意，数据来自一个 API 端点，即https://api.iota-nodes.net/.