什么？fei lu被python采集拉~（含完整源代码）

前言

嗨喽，大家好呀~这里是爱看美女的茜茜呐

环境使用:

Python 3.8
Pycharm

[模块使用]:

requests >>> 数据请求模块
parsel >>> 数据解析模块
re 正则表达式

在CMD里面进行安装输入安装命令 pip install 模块名

思路基本流程:一. 分析我们想要数据内容来自于哪里

F12 开发者工具进行抓包分析

打开 F12 或者鼠标右键点击检查刷新网页
点击搜索按钮, 输入搜索内容, 点击回车找到数据包

请求网址, 就可以得到我们想要内容

二. 代码实现的步骤过程:

发送请求, 模拟浏览器对于发送请求
获取数据, 获取服务器返回响应数据 —> 开发者工具里面response
解析数据, 提取我们想要数据内容, 章节名字
保存数据, 保存本地文件

采集一章免费的 —> 采集多章免费

采集多页数据内容, 多个数据内容 —> 去分析请求url参数变化

并不是完整等差数列 –> 有点点没有规律就去目录页面抓包, 分析一下我们想要章节url有没有

代码

导入模块

# 导入数据请求模块 ---> 第三方模块 需要安装 pip install requestsimport requests# 导入数据解析模块 ---> 第三方模块 需要安装 pip install parselimport parsel# 导入获取VIP章节代码import Vip# 导入图片文字识别代码import spot# 导入os模块import os