首先,这不是一个重复的问题,因为我已经检查了几乎所有的 503 / 机器人索引问题。他们都没有解决我的问题。我正在尝试从 indiegala.com 获取赠品清单,但该网站有某种保护措施可以防止机器人和机器人。我的目的并不违法,我只是想获得赠品清单然后检查游戏是否有蒸汽交易卡。但是你知道,indiegala 给了我一个机器人索引。目前我正在使用该代码;
String url = "https://www.indiegala.com/giveaways";
try {
String content = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36").ignoreHttpErrors(true).followRedirects(true).get().html();
System.out.println(content);
} catch (IOException ex) {
System.out.println(ex.toString());
}
要查看输出(站点的源代码,在我的代码中,变量“内容”),您可以运行我提供的代码,我无法在此处添加输出,因为它有点长。但它看起来像那样;
<head>
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />
</head>
那么我怎样才能通过这种保护呢?我的程序可以假装像人一样通过这种保护吗?