问题标签 [httplib]

我正在使用 httplib 在 Python 2.7.2 中编写一个客户端来从网络上获取 url：

我的问题是我不知道如何处理重定向，我什至不确定 httplib 是否有这个选项。另一件事是有一种简单的方法可以防止在服务器上缓存（更正：代理）（例如，通过添加带有随机数据的虚拟查询字符串）

非常感激...

如何获得所谓页面的响应时间：发送请求和第一个标头字节到来之间的时间？

PS：在这里我不想处理套接字 - 它可以工作，但它太原始了。

PPS：在 bash 中使用 curl 你可以这样做：

我在 google app engine 上构建了一个应用程序，在 python27 中连接另一个服务 API，一般来说一切都很顺利。时不时地我得到以下两个错误之一

这些错误中的第一个（ApplicationError：2）我解释为正在与之通信的服务器部分发生错误，但是我无法找到有关此的任何细节，如果有任何方法我负责/可以解决它。

这些错误中的第二个（ApplicationError：5）我发现了一些细节，它表明服务器与我的应用程序通信的时间太长 - 但是我将超时设置为 20 秒，它的失败速度比这快得多。

如果有人可以提供错误的链接或洞察力 - 特别是导致错误的原因以及可以采取哪些措施来解决它，我将非常感激。

我正在尝试摆脱在 python27 API 中使用 httplib 时遇到的异常 HTTPException('ApplicationError: 5 ',)（在 google appengine 上运行）-在与来自 AppEngine 的外部 api 进行通信时在这篇文章 ApplicationError2 和 ApplicationError5中进一步详细说明. 我想我也许可以尝试使用 httplib2。我可以看到调用 httplib 的 API 的唯一部分是：

httplib2 中是否有直接等效于httplib.HTTPConnection()的方法？我进行了搜索，但找不到任何东西。

我制作了一个小型 python 脚本来对我一直在开发的网站进行压力测试，然后再将其公开。它通过每 5 分钟生成一个新线程来运行，该线程在 while(true) 循环中运行以下代码。

如果我只有 1 个线程，那么代码请求/响应每次都会成功。当我创建新线程时，我更频繁地收到以下错误。最终，当有大约 10 个线程时，大约 90% 的时间它都会失败。

我想知道 httplib 使用的 ssl 代码是否不是线程安全的，或者是否有其他原因导致失败？

以下python curl调用有以下成功结果：

不幸的是，这个调用没有成功转换为 urllib2。我收到一个不同的 XML 响应，指出用户没有提供授权凭据：

顺便说一句，我收到与 httplib 相同的错误消息：

我知道 httplib 和 urllib2 可能只有在 SSL 被编译成套接字时才能工作，而 SSL 被编译成套接字的模块。事实上，我已经成功地将 urllib2 用于不同 API 上的其他调用。问题与这一特定 API 无关。

urllib2（和 httplib）与 curl 有什么不同？

注意：所有示例中使用的用户名和密码都相同。

更新：

问题出在基本身份验证密码管理器上。当我手动添加基本授权标头时， urllib2 cal 工作：

我这里有个小问题。所以，我正在为一个众所周知的 REST API 编写一些调用。一切都很顺利，除了我希望所有响应都显示为列表（这对我来说更好操作）。我的功能是这样的：

我习惯于使用 split() 但在这种情况下，结果是这样的：

好吧，我还需要第三个对象（httplib.HTTPMessage 实例位于 0x0000000001F68AC8>），以列表形式显示，以提取其中的一些数据。

提前致谢！

我想知道，你如何关闭与请求（python-requests.org）的连接？

有了httplib它HTTPConnection.close()，但我如何对请求做同样的事情？

代码：

我尝试使用以下httplib.request功能发布 unicode 数据：

然而这是我的错误：

我哪里错了？

问题：我搜索了几个网站/博客/等以找到解决方案，但没有找到我想要的。简而言之，问题是我想抓取一个站点-但要访问该站点-我必须通过登录页面。

我做了什么：我确实设法使用 urllib2 和 httplib 打开页面，但即使在登录后（没有显示错误），浏览器中显示的登录页面重定向也不会发生。我的代码与此处显示的代码没有太大区别：如何使用 Python 登录网页并检索 cookie 以供以后使用？; 除了我没有使用 Cookies。

我在找什么？我不完全确定除了“用户名”和“密码”字段之外我还需要寻找哪些字段。我想让脚本做的是 1）成功登录到 .aspx 站点并显示某种登录成功的消息 2）登录后重定向到另一个页面，以便我刮掉数据从网站。3) 如何收集任何网站的 POST/GET 字段，以便我知道我正在传递/调用正确的参数？

任何帮助/帮助/建议将不胜感激。