qq_41799291的博客

1.什么是ajax数据爬取：通常我们在使用requests抓取页面的时候，得到的html源码可能和在浏览器中看到的不一样，在页面上则可以看到数据，这是因为数据是听过ajax异步加载的，原始页面不会包含某些数据，原始页面加载完之后，会向服务区请求某个接口获取数据，然后数据才会被呈现在页面上，这其实就是发送了一个ajax请求。2.如何爬取？可通过requests和urllib这两个库来爬取数据：...

1.什么是动态渲染页面爬取？ajax方式也是动态渲染的一种，但是动态渲染并不止有ajax这一种，比如有些网页是由javascript生成的，并非原始html代码，这其中并不包含ajax请求，，比如Echarts官网，其图形都是经过javaScript计算之后生成的。还有就是淘宝这种网页，它既是是ajax获取的数据，但是其ajax接口含有很多加密参数，我们很难找出其中的规律，也很难直接分析ajax...

1.在Python中可以用来连接PostgreSQL的模块很多，这里比较推荐psycopg2：2.安装:pip install psycopg23.爬取信息 存入postgre 使用Selenium ：# -*- coding:utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.by import ...

1.一般使用Selenium 爬取页面 就以下步骤：1.使用Selenium 请求页面2.使用wait.until（）等到指定的元素标签被加载出来，才继续往下执行，开始打印源码，否则抛出异常。3.得到源码后 使用BeautifulSoup 解析库 解析页面 获取数据 别的解析库也行。4.入库。5.代码 :# -*- coding:utf-8 -*-from selenium impo...

代码：# -*- coding:utf-8 -*-from selenium import webdriverfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webd...

1.用于识别验证码：OCR，即 Optical Character Recognition，光学字符识别2.要安装tesserocr先安装 tesseract ：选 Additional language data(download）选项来安装 OCR识别支持的语言包，这样 OCR 便可以识别多国语言。 然后一路点击 Next 按钮即可 （）2-1：配置环境变量: C:\pachongxian...