dandanfengyun的博客

selenium的简单使用 安装 pip install selenium 爬取起点完本小说排行榜数据并保存到MongoDB数据库 代码如下 import time import pymongo from selenium import webdriver from selenium.common.exceptions import NoSuchElementException # driver...

略过

略过

Ubuntu16.04环境。。。 定时任务，顾名思义，固定时间进行的任务。在Ubuntu中，可以使用crontab来设置定时任务。 crontab -l # 查看当前定时任务列表 crontab -e # 编辑定时任务 crontab -r # 清空定时任务。 先来一个简单的， 每隔一分钟将当前时间追加到一个文件中。 注意权限问题，当用户并非root用户时。只有在用户自己目录下创建文件之类不需要提...

首先 创建 django项目 命令行输入 django-admin startproject BPic cd BPic python manage.py startapp app 打开新建的项目新建文件夹 templates 并 Mark 为 模板文件 创建完成后设置 setting文件 在INSTALLED_APPS 中加上 “app” 并在 TEMPLATES 列表的 ‘DIRS’ ： [] ...

尝试根据AV号爬取B站封面。。。 尝试一： 首先尝试直接根据网址获取到原网页源码获取封面 比如直接根据av号访问 https://www.bilibili.com/video/av41949084 import ssl import urllib.request url = 'https://www.bilibili.com/video/av41949084' headers = {'User...

scrapy 爬虫

scrapy框架爬取网站 比如https://www.dushu.com/news/99.html 爬取这个分类下每篇文章的标题 作者 内容等 首先 创建工程 终端输入 scrapy startproject News 进入工程目录 cd News 创建 spider 文件 主要获取网页 及 处理在逻辑写在其中 scrapy genspider history www.dushu.com 这...

import requests import threading import queue urls = [ 'http://cms-bucket.nosdn.127.net/2018/10/16/10e36050547445f6b8972daf7373a222.jpeg', 'http://kwcdn.000dn.com/swfs/59/39972xmyj0206/pm.jpg...