反爬虫

最新推荐文章于 2021-05-02 02:55:17 发布
最新推荐文章于 2021-05-02 02:55:17 发布
阅读量289 收藏
点赞数
一般来说我们会遇到网站反爬虫策略下面几点：

限制IP访问频率，超过频率就断开连接。（这种方法解决办法就是，降低爬虫的速度在每个请求前面加上time.sleep；或者不停的更换代理IP，这样就绕过反爬虫机制啦！）
后台对访问进行统计，如果单个userAgent访问超过阈值，予以封锁。（效果出奇的棒！不过误伤也超级大，一般站点不会使用，不过我们也考虑进去
还有针对于cookies的 （这个解决办法更简单，一般网站不会用）

判断是否使用了代理

import requests
import re
import random

class download:

def __init__(self):

    self.iplist = []  ##初始化一个list用来存放我们获取到的IP
    html = requests.get("http://haoip.cc/tiqu.htm")  ##不解释咯
    iplistn = re.findall(r'r/>(.*?)<b', html.text, re.S)  ##表示从html.text中获取所有r/><b中的内容，re.S的意思是包括匹配包括换行符，findall返回的是个list哦！
    for ip in iplistn:
        i = re.sub('\n', '', ip)  ##re.sub 是re模块替换的方法，这儿表示将\n替换为空
        self.iplist.append(i.strip())  ##添加到我们上面初始化的list里面

    self.user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
    ]

def get(self, url, proxy=None): ##给函数一个默认参数proxy为空
    UA = random.choice(self.user_agent_list) ##从self.user_agent_list中随机取出一个字符串
    headers = {'User-Agent': UA}  ##构造成一个完整的User-Agent （UA代表的是上面随机取出来的字符串哦）

    if proxy == None: ##当代理为空时，不使用代理获取response（别忘了response啥哦！之前说过了！！）
        response = requests.get(url, headers=headers)##这样服务器就会以为我们是真的浏览器了
        return response ##返回response

    else: ##当代理不为空
        IP = ''.join(str(random.choice(self.iplist)).strip()) ##将从self.iplist中获取的字符串处理成我们需要的格式（处理了些，什么自己看哦，这是基础呢）
        proxy = {'http': IP} ##构造成一个代理
        response = requests.get(url, headers=headers, proxies=proxy) ##使用代理获取response
        return response

Xz = download() ##实例化
print(Xz.get(“mzitu.com”).headers) ##打印headers

需要使用代理，而且还得规定一下多少次切换成代理爬取，多少次取消代理啊！

import requests
import re
import random
import time

class download:

def __init__(self):

    self.iplist = []  ##初始化一个list用来存放我们获取到的IP
    html = requests.get("http://haoip.cc/tiqu.htm")  ##不解释咯
    iplistn = re.findall(r'r/>(.*?)<b', html.text, re.S)  ##表示从html.text中获取所有r/><b中的内容，re.S的意思是包括匹配包括换行符，findall返回的是个list哦！
    for ip in iplistn:
        i = re.sub('\n', '', ip)  ##re.sub 是re模块替换的方法，这儿表示将\n替换为空
        self.iplist.append(i.strip())  ##添加到我们上面初始化的list里面

    self.user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
    ]

def get(self, url, timeout, proxy=None, num_retries=6): ##给函数一个默认参数proxy为空
    UA = random.choice(self.user_agent_list) ##从self.user_agent_list中随机取出一个字符串
    headers = {'User-Agent': UA}  ##构造成一个完整的User-Agent （UA代表的是上面随机取出来的字符串哦）

    if proxy == None: ##当代理为空时，不使用代理获取response（别忘了response啥哦！之前说过了！！）
        try:
            return requests.get(url, headers=headers, timeout=timeout)##这样服务器就会以为我们是真的浏览器了
        except:##如过上面的代码执行报错则执行下面的代码
            if num_retries > 0: ##num_retries是我们限定的重试次数
                time.sleep(10) ##延迟十秒
                print(u'获取网页出错，10S后将获取倒数第：', num_retries, u'次')
                return self.get(url, timeout, num_retries-1)  ##调用自身 并将次数减1
            else:
                print(u'开始使用代理')
                time.sleep(10)
                IP = ''.join(str(random.choice(self.iplist)).strip()) ##下面有解释哦
                proxy = {'http': IP}
                return self.get(url, timeout, proxy,) ##代理不为空的时候

    else: ##当代理不为空
        IP = ''.join(str(random.choice(self.iplist)).strip()) ##将从self.iplist中获取的字符串处理成我们需要的格式（处理了些什么自己看哦，这是基础呢）
        proxy = {'http': IP} ##构造成一个代理
        return requests.get(url, headers=headers, proxies=proxy, timeout = timeout) ##使用代理获取response

Xz = download() ##实例化
print(Xz.get(“mzitu.com”, 3)) ##打印headers

使用代理失败6次后，取消代理

import requests
import re
import random
import time

class download:

def __init__(self):

    self.iplist = []  ##初始化一个list用来存放我们获取到的IP
    html = requests.get("http://haoip.cc/tiqu.htm")  ##不解释咯
    iplistn = re.findall(r'r/>(.*?)<b', html.text, re.S)  ##表示从html.text中获取所有r/><b中的内容，re.S的意思是包括匹配包括换行符，findall返回的是个list哦！
    for ip in iplistn:
        i = re.sub('\n', '', ip)  ##re.sub 是re模块替换的方法，这儿表示将\n替换为空
        self.iplist.append(i.strip())  ##添加到我们上面初始化的list里面

    self.user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
    ]

def get(self, url, timeout, proxy=None, num_retries=6): ##给函数一个默认参数proxy为空
    print(u'开始获取：', url)
    UA = random.choice(self.user_agent_list) ##从self.user_agent_list中随机取出一个字符串
    headers = {'User-Agent': UA}  ##构造成一个完整的User-Agent （UA代表的是上面随机取出来的字符串哦）

    if proxy == None: ##当代理为空时，不使用代理获取response（别忘了response啥哦！之前说过了！！）
        try:
            return requests.get(url, headers=headers, timeout=timeout)##这样服务器就会以为我们是真的浏览器了
        except:##如过上面的代码执行报错则执行下面的代码

            if num_retries > 0: ##num_retries是我们限定的重试次数
                time.sleep(10) ##延迟十秒
                print(u'获取网页出错，10S后将获取倒数第：', num_retries, u'次')
                return self.get(url, timeout, num_retries-1)  ##调用自身 并将次数减1
            else:
                print(u'开始使用代理')
                time.sleep(10)
                IP = ''.join(str(random.choice(self.iplist)).strip()) ##下面有解释哦
                proxy = {'http': IP}
                return self.get(url, timeout, proxy,) ##代理不为空的时候

    else: ##当代理不为空
        try:
            IP = ''.join(str(random.choice(self.iplist)).strip()) ##将从self.iplist中获取的字符串处理成我们需要的格式（处理了些什么自己看哦，这是基础呢）
            proxy = {'http': IP} ##构造成一个代理
            return requests.get(url, headers=headers, proxies=proxy, timeout=timeout) ##使用代理获取response
        except:

            if num_retries > 0:
                time.sleep(10)
                IP = ''.join(str(random.choice(self.iplist)).strip())
                proxy = {'http': IP}
                print(u'正在更换代理，10S后将重新获取倒数第', num_retries, u'次')
                print(u'当前代理是：', proxy)
                return self.get(url, timeout, proxy, num_retries - 1)
            else:
                print(u'代理也不好使了！取消代理')
                return self.get(url, 3)
完整代码

from bs4 import BeautifulSoup
import os
from Download import download

class mzitu(download):

def all_url(self, url):
    html = download.get(self, url, 3) ##这儿替换了，并加上timeout参数
    all_a = BeautifulSoup(html.text, 'lxml').find('div', class_='all').find_all('a')
    for a in all_a:
        title = a.get_text()
        print(u'开始保存：', title)
        path = str(title).replace("?", '_')
        self.mkdir(path)
        os.chdir("D:\mzitu\\"+path)
        href = a['href']
        self.html(href)

def html(self, href):
    html = download.get(self, href, 3)
    max_span = BeautifulSoup(html.text, 'lxml').find_all('span')[10].get_text()
    for page in range(1, int(max_span) + 1):
        page_url = href + '/' + str(page)
        self.img(page_url)

def img(self, page_url):
    img_html = download.get(self, page_url, 3) ##这儿替换了
    img_url = BeautifulSoup(img_html.text, 'lxml').find('div', class_='main-image').find('img')['src']
    self.save(img_url)

def save(self, img_url):
    name = img_url[-9:-4]
    print(u'开始保存：', img_url)
    img = download.get(self, img_url, 3) ##这儿替换了，并加上timeout参数
    f = open(name + '.jpg', 'ab')
    f.write(img.content)
    f.close()

def mkdir(self, path): ##这个函数创建文件夹
    path = path.strip()
    isExists = os.path.exists(os.path.join("D:\mzitu", path))
    if not isExists:
        print(u'建了一个名字叫做', path, u'的文件夹！')
        os.makedirs(os.path.join("D:\mzitu", path))
        return True
    else:
        print(u'名字叫做', path, u'的文件夹已经存在了！')
        return False

Mzitu = mzitu() ##实例化
Mzitu.all_url(‘http://www.mzitu.com/all‘) ##给函数all_url传入参数 你可以当作启动爬虫（就是入口）
好了！搞完收工！大家可以看一下和上一次我们写的爬虫有哪些变化就知道我们做了什么啦！

2016/11/4 更新：今天做教程的时候发现我忽略了一个问题，上面的写法，属于子类继承父类，这种写法 子类没法用init;所以我改了一下写法，（其余都没变，不用担心。）直接贴代码了：

首先是下载模块（Download.py）:

Python

import requests
import re
import random
import time

class download():

def __init__(self):

    self.iplist = []  ##初始化一个list用来存放我们获取到的IP
    html = requests.get("http://haoip.cc/tiqu.htm")  ##不解释咯
    iplistn = re.findall(r'r/>(.*?)<b', html.text, re.S)  ##表示从html.text中获取所有r/><b中的内容，re.S的意思是包括匹配包括换行符，findall返回的是个list哦！
    for ip in iplistn:
        i = re.sub('\n', '', ip)  ##re.sub 是re模块替换的方法，这儿表示将\n替换为空
        self.iplist.append(i.strip())  ##添加到我们上面初始化的list里面

    self.user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
    ]

def get(self, url, timeout, proxy=None, num_retries=6): ##给函数一个默认参数proxy为空
    UA = random.choice(self.user_agent_list) ##从self.user_agent_list中随机取出一个字符串
    headers = {'User-Agent': UA}  ##构造成一个完整的User-Agent （UA代表的是上面随机取出来的字符串哦）

    if proxy == None: ##当代理为空时，不使用代理获取response（别忘了response啥哦！之前说过了！！）
        try:
            return requests.get(url, headers=headers, timeout=timeout)##这样服务器就会以为我们是真的浏览器了
        except:##如过上面的代码执行报错则执行下面的代码

            if num_retries > 0: ##num_retries是我们限定的重试次数
                time.sleep(10) ##延迟十秒
                print(u'获取网页出错，10S后将获取倒数第：', num_retries, u'次')
                return self.get(url, timeout, num_retries-1)  ##调用自身 并将次数减1
            else:
                print(u'开始使用代理')
                time.sleep(10)
                IP = ''.join(str(random.choice(self.iplist)).strip()) ##下面有解释哦
                proxy = {'http': IP}
                return self.get(url, timeout, proxy,) ##代理不为空的时候

    else: ##当代理不为空
        try:
            IP = ''.join(str(random.choice(self.iplist)).strip()) ##将从self.iplist中获取的字符串处理成我们需要的格式（处理了些什么自己看哦，这是基础呢）
            proxy = {'http': IP} ##构造成一个代理
            return requests.get(url, headers=headers, proxies=proxy, timeout=timeout) ##使用代理获取response
        except:

            if num_retries > 0:
                time.sleep(10)
                IP = ''.join(str(random.choice(self.iplist)).strip())
                proxy = {'http': IP}
                print(u'正在更换代理，10S后将重新获取倒数第', num_retries, u'次')
                print(u'当前代理是：', proxy)
                return self.get(url, timeout, proxy, num_retries - 1)
            else:
                print(u'代理也不好使了！取消代理')
                return self.get(url, 3)

request = download() ##

import requests
import re
import random
import time

class download():

def __init__(self):

    self.iplist = []  ##初始化一个list用来存放我们获取到的IP
    html = requests.get("http://haoip.cc/tiqu.htm")  ##不解释咯
    iplistn = re.findall(r'r/>(.*?)<b', html.text, re.S)  ##表示从html.text中获取所有r/><b中的内容，re.S的意思是包括匹配包括换行符，findall返回的是个list哦！
    for ip in iplistn:
        i = re.sub('\n', '', ip)  ##re.sub 是re模块替换的方法，这儿表示将\n替换为空
        self.iplist.append(i.strip())  ##添加到我们上面初始化的list里面

    self.user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
    ]

def get(self, url, timeout, proxy=None, num_retries=6): ##给函数一个默认参数proxy为空
    UA = random.choice(self.user_agent_list) ##从self.user_agent_list中随机取出一个字符串
    headers = {'User-Agent': UA}  ##构造成一个完整的User-Agent （UA代表的是上面随机取出来的字符串哦）

    if proxy == None: ##当代理为空时，不使用代理获取response（别忘了response啥哦！之前说过了！！）
        try:
            return requests.get(url, headers=headers, timeout=timeout)##这样服务器就会以为我们是真的浏览器了
        except:##如过上面的代码执行报错则执行下面的代码

            if num_retries > 0: ##num_retries是我们限定的重试次数
                time.sleep(10) ##延迟十秒
                print(u'获取网页出错，10S后将获取倒数第：', num_retries, u'次')
                return self.get(url, timeout, num_retries-1)  ##调用自身 并将次数减1
            else:
                print(u'开始使用代理')
                time.sleep(10)
                IP = ''.join(str(random.choice(self.iplist)).strip()) ##下面有解释哦
                proxy = {'http': IP}
                return self.get(url, timeout, proxy,) ##代理不为空的时候

    else: ##当代理不为空
        try:
            IP = ''.join(str(random.choice(self.iplist)).strip()) ##将从self.iplist中获取的字符串处理成我们需要的格式（处理了些什么自己看哦，这是基础呢）
            proxy = {'http': IP} ##构造成一个代理
            return requests.get(url, headers=headers, proxies=proxy, timeout=timeout) ##使用代理获取response
        except:

            if num_retries > 0:
                time.sleep(10)
                IP = ''.join(str(random.choice(self.iplist)).strip())
                proxy = {'http': IP}
                print(u'正在更换代理，10S后将重新获取倒数第', num_retries, u'次')
                print(u'当前代理是：', proxy)
                return self.get(url, timeout, proxy, num_retries - 1)
            else:
                print(u'代理也不好使了！取消代理')
                return self.get(url, 3)

request = download() ##
这个模块就多了 request = download()

第二个（def mzitu.py）:

Python

from bs4 import BeautifulSoup
import os
from Download import request ##导入模块变了一下
from pymongo import MongoClient

class mzitu():

def all_url(self, url):

    html = request.get(url, 3) ##这儿更改了一下（是不是发现  self 没见了？）
    all_a = BeautifulSoup(html.text, 'lxml').find('div', class_='all').find_all('a')
    for a in all_a:
        title = a.get_text()
        print(u'开始保存：', title)
        path = str(title).replace("?", '_')
        self.mkdir(path)
        os.chdir("D:\mzitu\\"+path)
        href = a['href']
        self.html(href)

def html(self, href):
    html = request.get(href, 3)##这儿更改了一下（是不是发现  self 没见了？）
    max_span = BeautifulSoup(html.text, 'lxml').find_all('span')[10].get_text()
    for page in range(1, int(max_span) + 1):
        page_url = href + '/' + str(page)
        self.img(page_url)

def img(self, page_url):
    img_html = request.get(page_url, 3) ##这儿更改了一下（是不是发现  self 没见了？）
    img_url = BeautifulSoup(img_html.text, 'lxml').find('div', class_='main-image').find('img')['src']
    self.save(img_url)

def save(self, img_url):
    name = img_url[-9:-4]
    print(u'开始保存：', img_url)
    img = request.get(img_url, 3) ##这儿更改了一下（是不是发现  self 没见了？）
    f = open(name + '.jpg', 'ab')
    f.write(img.content)
    f.close()

def mkdir(self, path): 
    path = path.strip()
    isExists = os.path.exists(os.path.join("D:\mzitu", path))
    if not isExists:
        print(u'建了一个名字叫做', path, u'的文件夹！')
        os.makedirs(os.path.join("D:\mzitu", path))
        return True
    else:
        print(u'名字叫做', path, u'的文件夹已经存在了！')
        return False

Mzitu = mzitu() ##实例化
Mzitu.all_url(‘http://www.mzitu.com/all‘) ##给函数all_url传入参数 你可以当作启动爬虫（就是入口）

from bs4 import BeautifulSoup
import os
from Download import request ##导入模块变了一下
from pymongo import MongoClient

class mzitu():

def all_url(self, url):

    html = request.get(url, 3) ##这儿更改了一下（是不是发现  self 没见了？）
    all_a = BeautifulSoup(html.text, 'lxml').find('div', class_='all').find_all('a')
    for a in all_a:
        title = a.get_text()
        print(u'开始保存：', title)
        path = str(title).replace("?", '_')
        self.mkdir(path)
        os.chdir("D:\mzitu\\"+path)
        href = a['href']
        self.html(href)

def html(self, href):
    html = request.get(href, 3)##这儿更改了一下（是不是发现  self 没见了？）
    max_span = BeautifulSoup(html.text, 'lxml').find_all('span')[10].get_text()
    for page in range(1, int(max_span) + 1):
        page_url = href + '/' + str(page)
        self.img(page_url)

def img(self, page_url):
    img_html = request.get(page_url, 3) ##这儿更改了一下（是不是发现  self 没见了？）
    img_url = BeautifulSoup(img_html.text, 'lxml').find('div', class_='main-image').find('img')['src']
    self.save(img_url)

def save(self, img_url):
    name = img_url[-9:-4]
    print(u'开始保存：', img_url)
    img = request.get(img_url, 3) ##这儿更改了一下（是不是发现  self 没见了？）
    f = open(name + '.jpg', 'ab')
    f.write(img.content)
    f.close()

def mkdir(self, path): 
    path = path.strip()
    isExists = os.path.exists(os.path.join("D:\mzitu", path))
    if not isExists:
        print(u'建了一个名字叫做', path, u'的文件夹！')
        os.makedirs(os.path.join("D:\mzitu", path))
        return True
    else:
        print(u'名字叫做', path, u'的文件夹已经存在了！')
        return False

Mzitu = mzitu() ##实例化
Mzitu.all_url(‘http://www.mzitu.com/all‘) ##给函数all_url传入参数 你可以当作启动爬虫（就是入口）

学习链接

https://cuiqingcai.com/3256.html

App 爬虫实现案例：对抗反爬虫机制
走向CTO的路上...
04-18 4701
App 爬虫是指通过模拟移动应用程序的行为，自动化地从 App 的接口或数据源中提取数据的过程。由于 App 数据通常以 API 接口的形式提供，因此 App 爬虫的核心在于理解和模拟 App 的网络请求。然而，为了保护数据和防止滥用，许多 App 采取了各种反爬虫机制。本案例将探讨一个 App 爬虫的实现，并着重介绍如何应对一些常见的反爬虫技术。请注意，未经授权的爬取行为可能违反法律法规和 App 的服务条款，务必在遵守法律和道德规范的前提下进行研究和实践。
利用selenium进行Python爬虫时，遇到href=#，获取真正网址的办法
qq_37088317的博客
04-17 7728
今天，在利用selenium进行Python爬虫时，我遇到了下面的问题，我想得到图片中a标签中href的网址，却发现href = #，这可怎么搞哦！经过一番思索，查阅资料，网上有说抓包get获取网址的，但我比较菜鸡，就没用这种方法（以后可以研究研究）。最终，我居然发现！a标签里还有一个属性onclick，里面居然就是我想获取的网址的子路径！嗷嗷嗷嗷嗷！炒鸡兴奋的，然后方法如下： 没错，在图片中可以...
Linux系统、网络反爬虫、监控管理——python自动化运维.html
09-08
Linux系统、网络反爬虫、监控管理——python自动化运维.html
linux防止爬虫脚本,屏蔽爬虫ip抓取。自动执行没小时一次
weixin_31754073的博客
05-02 353
# 每小时执行一次上面的脚本crontable 0 */1 * * * sh /script/block_ip.sh#功能 每小时限制一下ip。每小时访问大于1000次的ip被封锁。#!/bin/shlastdate=`/bin/date -d last-minute +%Y%m%d`IP_LIST_FILE=/script/deny.txt/bin/cat /opt/web_logs/cctv...
反爬虫的方法大全
热门推荐
May女子の博客
05-08 2万+
反爬虫策略 1、封IP：网页的运维人员通过分析日志发现最近某一个IP访问量特别特别大，某一段时间内访问了无数次的网页，则运维人员判断此种访问行为并非正常人的行为，于是直接在服务器上封杀了此人IP。 2、封USERAGENT：很多的爬虫请求头就是默认的一些很明显的爬虫头python-requests/2.18.4，诸如此类，当运维人员发现携带有这类headers的数据包，直接拒绝访问，返回403错误...
反爬虫总结 | 必须掌握的6种反爬虫策略
Maple的博客
12-28 5558
许多网站实现了某些措施来防止爬虫来爬取它们，这些措施带有不同程度的复杂性。绕过这些措施有时是困难并富有挑战性的，有时甚至需要特定的措施。   当常常需要和这种反爬虫网站打交道时，以下6条策略应牢记在心中： 1.动态设置你的user agent，比如python就提供了random库函数。以下是一些著名浏览器的user agent的总结： def get_user_agent(): ...
反爬虫策略反爬虫手段
01-06
在互联网世界中，爬虫与反爬虫是一场持续的博弈。爬虫，作为一种自动抓取网页信息的程序，被广泛用于数据挖掘、市场分析、搜索引擎优化等领域。然而，随着爬虫技术的发展，网站所有者也开始采取各种反爬虫策略以保护...
基于Python的网络爬虫与反爬虫技术研究.pdf
06-28
随着技术的发展，反爬虫的技术也在不断更新，使得网络爬虫和反爬虫之间的对抗日益激烈。 本研究主要涉及网络爬虫的设计及实现、反爬虫技术的实现及相关技术的研究。通过研究目标网站爬虫门槛的协商及通过的条件，及...
基于国家企业信用信息公示系统的反爬虫验证码类型.zip
最新发布
01-19
反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等...
智能反爬虫试炼之路.pdf
08-08
这份文件的标题“智能反爬虫试炼之路.pdf”以及描述“反爬虫攻击的现状 常见的反爬策略 防护新思考 智能反爬虫”暗示了文档内容将围绕当前网络爬虫技术的现状、常见的反爬策略、新的防护思路以及智能反爬虫技术进行...
关于反爬虫，看这一篇就够了
博客
06-30 7955
声明：本文CSDN作者原创投稿文章，未经许可禁止任何形式的转载。 编者：文来自携程酒店研发部研发经理崔广宇在第三期【携程技术微分享】上的分享，以下为整理的内容概要。 课件：分享Slides和视频。 责编：钱曙光，关注架构和算法领域，寻求报道或者投稿请发邮件[email protected]，另有「CSDN高级架构师群」，内有诸多知名互联网公司的大牛架构师，欢迎架构师加微信qs...
关于反爬虫的一些总结
Lyndon的专栏
02-10 8690
1、爬取过程中的302重定向 在爬取某个网站速度过快或者发出的请求过多的时候，网站会向你所在的客户端发送一个链接，需要你去验证图片。我在爬链家和拉钩网的过程中就曾经遇到过： 对于302重定向的问题，是由于抓取速度过快引起网络流量异常，服务器识别出是机器发送的请求，于是将请求返回链接定到某一特定链接，大多是验证图片或空链接。 在这种时候，既然已经被识别出来了，就使用
Python构建代理池
Orient
07-25 4331
用 Python 爬取网站内容的时候，容易受到反爬虫机制的限制，而突破反爬虫机制的一个重要措施就是使用IP代理。我们可以在网络上找到许多IP代理，但稳定的IP代理成本都较高。因此利用免费代理构建自己的代理池就非常有必要了。本文将介绍如何用Python构建自己的IP代理池。 先推荐两个免费的IP代理：http://www.haoip.cchttp://www.xicidaili.com 本文以www
python爬虫系统学习十一：常见反爬虫机制与应对方法
guangyinglanshan的博客
01-12 8836
数据头User-Agent反爬虫机制解析 我们小时候都听过一首儿歌。我说一个开头，大家肯定能把剩下的几句背出来：小兔子乖乖，把门打开... 当我们使用浏览器访问网站的时候，浏览器会发送一小段信息给网站，我们称为Request Headers,在这个头部信息里面包含了本次访问的一些信息，例如编码方式，当前地址，将要访问的地址等等。这些信息一般来说是不必要的，但是现在很多网站会把这些信息利
python用BeautifulSoup库简单爬虫入门+案例（爬取妹子图）
weixin_34417635的博客
09-15 511
会用到的功能的简单介绍 1、from bs4 import BeautifulSoup #导入库 2、请求头herders headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/5...
史上最全反爬虫方案汇总
sinat_31646867的博客
05-27 6876
通过User-Agent来控制访问 无论是浏览器还是爬虫程序，在向服务器发起网络请求的时候，都会发过去一个头文件：headers，比如知乎的requests headers 这里面的大多数的字段都是浏览器向服务器”表明身份“用的 对于爬虫程序来说，最需要注意的字段就是：User-Agent 很多网站都会建立 user-agent白名单，只有属于正常范围的user-agent才能够正常访...
十分钟解决爬虫问题！超轻量级反爬虫方案
bigsec的博客
11-14 9464
本文将描述一种尽量简单的反爬虫方案，可以在十几分钟内解决部分简单的爬虫问题，缓解恶意攻击或者是系统超负荷运行的状况；至于复杂的爬虫以及更精准的防御，需要另外讨论。 爬虫和反爬虫日益成为每家公司的标配系统。爬虫在情报获取、虚假流量、动态定价、恶意攻击、薅羊毛等方面都能起到很关键的作用，所以每家公司都或多或少的需要开发一些爬虫程序，业界在这方面的成熟的方案也非常多;有矛就
简单Python爬虫实现（二）
luotuomianyang的博客
11-10 1588
目的：从百度百科python页抓取相关超链接的词条，输出到html中 一些概念：深入理解python之self 程序的主要目录为 主函数 from test import url_manager from test import html_downloader from test import html_parser from test import html_
字体反爬虫网站的反反爬虫程序设计
资源摘要信息: "本资源是一套针对采取了字体反爬虫策略的网站进行反反爬虫程序设计的源码包，包括针对电影、汽车、实习等不同行业网站的爬取实例。源码经过测试，能够成功运行，并具备完整的功能。资源旨在为计算机...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值