问题标签 [httplib]

这是一段网络挖掘脚本。

q是一个Queue()由 Urls 和 `missing 组成的空队列，用于收集错误引发的 url

它由 10 个线程并行运行。

每次我运行这个，我都会得到这个。

但我确实使用except...我尝试了其他类似的东西

甚至，

但这些都不起作用..

我怎样才能抓住IncompleteReadand URLError？

我想收集与 Web 请求的每个阶段需要多长时间相关的统计信息。httplib提供：

这些统计信息是否可以从更高级别的界面（例如 ）获得urllib2？是否有提供此类统计数据的高级图书馆？

有没有办法通过 Fiddler 的代理对使用 python 发出的 HTTPs 请求进行隧道传输httplib，而不会将 Fiddler 变成反向代理？

我尝试使用这个例子（从这里）：

但它返回：

编辑：此代码有效。该问题与 Internet Explorer 中的代理设置有关。不要在这些设置中设置代理，否则上面的代码将不起作用。

在阅读示例代码时，我首先需要打开和连接

然后我可以在不建立新连接的情况下发送多个请求：

那么这是否意味着我有一个持久的连接？或者 httplib 会在每个请求中建立一个新连接？如何确保与 httplib 的持久连接？

我需要发送一个包含以下格式数据的请求：

通常，它包含一个 XML 查询。假设我希望它发送的服务器是https://some/server并且我的代理是proxy:port_number. 我尝试通过以下方式使用httplib2with ：SocksiPy

它有效，但响应不是预期的。显然是因为我需要使用 HTTPS 代理（这是相同的）。我没有任何证书信息 - 类似的工作 Perl 脚本不使用，它将代理定义为环境变量。SocksiPyhasPROXY_TYPE_SOCKS4和PROXY_TYPE_SOCKS5constants 但是，我不知道如何使用它们（不定义证书会引发异常）。请指出我如何做到这一点。

也许它适合使用httplibwith xmlrpclib？如何定义这些并放在一起工作？

我在尝试为 Minecraft 服务器站点编写基本的网络爬虫时遇到了一些麻烦。我对 python 很陌生（但精通 C/java/.net），似乎无法让这该死的东西正常工作。

我试图达到

以下代码在成功到达和从站点抓取的范围内起作用。但是返回的页面是一个错误，指出没有提供 playerName。所以参数没有正确附加一定有问题吗？

我已经尽可能多地尝试修复它。有什么建议么？

编辑：在不使用参数的情况下这样做确实有效......但我不觉得应该这样做：

我有这个代码：

在self.lbl_status请求完成之前不会更改，因此由于最后一个set_text功能，它不会显示任何内容。

为什么会发生这种情况，以及如何避免/解决这种情况？

如何在 python Web 服务中使用 httplib 将带有文件对象的参数发布到 URL。

我正在使用以下脚本：

我有以下输出：

我写了一些 php 代码来保存这些字符串和数据库中的文件我的问题是，我只将文件路径作为一个刺痛而不是我的文件。可能我必须发送文件对象，例如，

但我想同时发送字符串和文件。有什么建议可以解决这个问题吗？

编辑 我将代码更改如下：当我直接使用 httplib 将 pdf 文件发送到我的服务器时，该文件保存为 BIN 文件。

我已经调试了显示为的请求：

而且我没有尝试请求，因为我想用 httplib 解决这个问题（没有任何外部库）

我正在尝试使用 Python 中的 mechanize 库打开一个安全（https）网站。当我尝试访问该网站时，服务器会关闭连接并引发异常 BadStatusLine。

我尝试使用该addheaders属性修改标题，但没有响应。

例外：

Traceback（最近一次调用最后一次）： File pydev_imports.execfile(file, globals, locals) #执行脚本 File "Z:\pyTax\app_test.py", line 22, in resp=br.open('https:// incometaxindiaefiling.gov.in/portal/index.do ')
文件“build\bdist.win32\egg\mechanize_mechanize.py”，第 203 行，打开文件“build\bdist.win32\egg\mechanize_mechanize.py”，第 230 行，在 _mech_open 文件“build\bdist.win32\egg\mechanize_opener.py”，第 188 行，在打开文件“build\bdist.win32\egg\mechanize_http.py”，第 316 行，在 http_request 文件“build\bdist.win32 \egg\mechanize_http.py”，第 242 行，在读取文件“build\bdist.win32\egg\mechanize_mechanize.py”，第 203 行，打开
文件“build\bdist.win32\egg\mechanize_mechanize.py”，第 230 行，在 _mech_open 文件“build\bdist.win32\egg\mechanize_opener.py”，第 193 行，在打开文件“build\bdist.win32\egg\ mechanize_urllib2_fork.py”，第 344 行，_open 文件“build\bdist.win32\egg\mechanize_urllib2_fork.py”，第 332 行，_call_chain 文件“build\bdist.win32\egg\mechanize_urllib2_fork.py”，第 1170 行，在 https_open文件“build\bdist.win32\egg\mechanize_urllib2_fork.py”，第 1116 行，在 do_open 文件“D:\Python27\lib\httplib.py”，第 1031 行，在 getresponse response.begin() 文件“D:\Python27 \lib\httplib.py”，第 407 行，开始版本，状态，原因 = self._read_status() 文件“D:\Python27\lib\httplib.py”，第 371 行，在 _read_status raise BadStatusLine(line) httplib.BadStatusLine: ''

我有嵌入 python 2.5.2 的“公司内部工具” 。这意味着我不能使用任何其他版本或编程语言。因此，HTTPLIB 的代码如下：

对于 urllib2 代码如下：

它们都在默认的 python 2.5.2 安装中工作正常。如果我尝试在我得到的工具中使用相同的代码，则会出现以下错误：

HTTPLIB：

URLLIB2：

据我了解，SSL 支持已被删除。顺便说一句：我可以编写自己的库并将它们放置到正确的文件夹中以使它们工作。所以，问题是：如何使用代理连接到网络服务？我找到了以下示例： http ://www.pha.com.au/kb/index.php/Python_-_Using_a_proxy_for_HTTP_requests

但在我的情况下它不起作用。你有什么建议可以解决这个问题吗？看起来在python中构建一个单独的代理模块来执行HTTPS查询可以解决这个问题。那么，在这种情况下，连接程序是什么？