Python urllib2运行过程原理解析

1.urlopen函数 urllib2.urlopen(url[, data[, timeout[, cafile[, capath[, cadefault[, context]]]]]) 注： url表示目标网页地址，可以是字符串，也可以是请求对象Request req= urllib2.Request(url, data,headers) response = urllib2.urlopen(req,timeout=3) data表示post方式提交给目标服务器的参数 data = urllib.urlencode(data) import urllib,urllib2 ac Python的urllib2库是进行HTTP请求的重要工具，主要用于网络数据的抓取和交互。它提供了urlopen函数和Request类，使得开发者能够方便地发送GET和POST请求，并处理各种网络交互中的复杂情况。 1. `urlopen`函数是urllib2的核心，用于打开指定的URL。它接受多个参数，如URL字符串、POST数据、超时时间以及证书相关选项。当只传入URL字符串时，它会默认执行GET请求。如果URL参数是Request对象，那么可以携带额外的POST数据、请求头等信息。例如，以下代码演示了如何使用urlopen发送POST请求： ```python import urllib, urllib2 action_url = "http://www.xxxxxx.com/post" values = {'name': "alice", 'age': 20} data = urllib.urlencode(values) rqst = urllib2.Request(action_url, data) response = urllib2.urlopen(rqst) ``` 2. `Request`函数用于构造一个HTTP请求对象，它包含了URL、POST数据、请求头等信息。请求头（headers）通常用来设置User-Agent，以模拟不同浏览器的行为，避免被某些网站识别为机器人。例如： ```python headers = {'User-Agent': 'Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11'} req = urllib2.Request('http://www.weibo.cn', headers=headers) response = urllib2.urlopen(req) ``` 3. `build_opener`函数用于创建一个自定义的Opener对象，它能处理更复杂的HTTP请求，如身份验证、Cookie管理、代理设置等。Opener对象拥有open方法，与urlopen函数功能类似，但更灵活。例如，如果我们需要处理HTTP基本认证，可以这样做： ```python import urllib2 from urllib2 import HTTPBasicAuthHandler auth_handler = HTTPBasicAuthHandler() auth_handler.add_password(realm='My Realm', uri='http://example.com', user='username', passwd='password') opener = urllib2.build_opener(auth_handler) urllib2.install_opener(opener) response = urllib2.urlopen('http://example.com') ``` urllib2库不仅提供了基本的HTTP请求功能，还能处理各种网络环境下的复杂情况，如错误处理、重定向、安全认证等，是Python进行Web开发和爬虫程序编写的重要工具。通过结合Request对象和Opener对象，开发者可以构建出强大的网络请求逻辑，适应各种网络交互需求。