网安零基础学习-python-爬虫获取网页信息(灰帽编程16）

原创于 2022-01-11 14:28:54 发布 · 279 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #开发语言

零基础做灰帽专栏收录该内容

18 篇文章

订阅专栏

本文介绍了一个简单的Python爬虫示例，通过使用urllib.request模块来请求网页并获取其内容。示例中定义了一个名为GetHtml的类，该类初始化时接受URL和HTTP头部信息作为参数，并提供了一个get_index方法用于发送请求并读取网页内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、如何使Python获取网页信息

import urllib.request

class GetHtml(object):
    def __init__(self,URL,HEAD):
        self.url=URL
        self.head=HEAD
    def get_index(self):
        self.request = urllib.request.Request(self.url)
        self.request.add_header("user=agent",self.head)
        self.response = urllib.request.urlopen(self.request)
        return self.response.read()
html = GetHtml("https://wwww.baidu.com","Mozilla/5.0 (Windows NT 8.1; Win32; rv:95.0) \
Gecko/20100101 Firefox/95.0")
print(html.get_index())