网络爬虫—Post请求实战演示

    • POST请求
    • GET请求
    • POST请求和GET请求的区别
    • 获取二进制数据
      • 爬[百度官网](https://www.baidu.com/)logo实战
    • 发送post请求
      • 百度翻译实战
    • 使用session发送请求
      • 模拟登录17k小说网
    • 常见问题

前言：
​​此专栏文章是专门针对Python零基础爬虫，欢迎免费订阅！
​第一篇文章获得全站热搜第一，python领域热搜第一，欢迎阅读！
欢迎大家一起学习，一起成长！！
：悲索之人烈焰加身，堕落者不可饶恕。永恒燃烧的羽翼，带我脱离凡间的沉沦。

POST请求

Python中的POST请求是HTTP协议中的一种请求方法，用于向服务器提交数据。与GET请求不同，POST请求将数据封装在请求体中，而不是在URL中传递。通常情况下，POST请求用于向服务器提交表单数据、上传文件等操作。
示例代码如下：

import requestsurl = 'http://example.com/api/data'data = {'name': 'John', 'age': 25}response = requests.post(url, data=data)print(response.text)

这个例子中，我们向http://example.com/api/data这个URL发送了一个POST请求，请求体中包含了name和age两个字段的数据。服务器接收到请求后，可以根据数据进行相应的处理，并返回响应结果。response.text表示服务器返回的文本内容。

GET请求

Python中的GET请求也是HTTP协议中的一种请求方法，用于向服务器请求数据。与POST请求不同，GET请求将数据以查询字符串的形式附加在URL后面，而不是封装在请求体中。通常情况下，GET请求用于向服务器请求某个资源，比如获取网页、图片、视频等。
示例代码如下：

import requestsurl = 'http://example.com/api/data" />
 
  
右键空白处 --> 检查 --> 鼠标附魔 --> 点击图片找到对应的链接
 
 
 
  
点开链接后，里面有三条链接，到底哪一个是我们需要的，我们需要一个一个点开看。
 
 
 
  
接着就是敲代码，把照片获取到本地。
 
 
代码如下：
 
import requests# 确认数据的链接url = 'https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png'# headers 90%情况下是不需要的，特别是图片 (当获取不到图片数据的时候才加上请求头数据)# print(image.content)# 获取响应对象的进制数据data = requests.get(url)f = open("百度logo.png", 'wb')   # 把数据保存到文件中f.write(data.content)f.close()
导入requests库，用于发送HTTP请求和获取响应数据。
 定义一个URL变量，表示要下载的图片的链接。
 使用requests.get()方法发送GET请求，获取图片的二进制数据。
 打开一个文件（这里是百度logo.png），使用wb模式打开，表示以二进制写入模式打开文件。
 将获取到的二进制数据写入文件中。 关闭文件。
 最终，运行这段代码会在当前目录下生成一个名为百度logo.png的图片文件，内容为从指定URL下载的图片。
发送post请求
1.确认爬虫的流程（获取数据的时候，根据流程操作）
找数据（先到网页源代码里面找数据）
 如果数据不在网页源代码
 数据在哪里？
 如何快速找到数据并确认它？
 三种方法
 筛选 刷新 搜索
筛选：
 
刷新
 
搜索
找到数据了！！！
 
 
 
通过三种方式找到数据，接下来写代码拿出我们想要的数据
import requestsurl = 'https://fanyi.baidu.com/v2transapi" />
 
使用session发送请求
 
模拟登录17k小说网
 
  
先了解本次实战目标
 
 我们的目标就是通过模拟登录然后获取账户个人主页的内容
 
 
 
  
接下来开始找数据，账号密码，方便我们登录个人主页
 
 
 
 

 找到数据后，我们开始写代码
 
import requestsfrom requests import Sessionsession = requests.Session()url = "https://passport.17k.com/ck/user/login"headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36',}data = {    'loginName': '以山河作礼',    'password': '********'}# session对象登录，记录登录的状态html = session.post(url=url, headers=headers, data=data)print(html.json())
运行代码，看看我们是否登录成功。
看到我们的登录昵称，说明我们登录成功了，接下来我们通过代码进入个人主页
import requestsfrom requests import Sessionsession = requests.Session()url = "https://passport.17k.com/ck/user/login"headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36',}data = {    'loginName': '以山河作礼',    'password': '******'}# session对象登录，记录登录的状态html = session.post(url=url, headers=headers, data=data)print(html.json())# session对象的登录的状态去请求url_main = 'https://user.17k.com/www/'html = session.get(url_main, headers=headers)html.encoding = 'utf-8'print(html.text)
运行结果：
 
我们得到了个人主页的html页面代码，在里面我们可以看到，最近阅读和最近收藏等，说明我们本次成功的获取了想要的数据。
常见问题
获取不到需要的数据
增加cookie等其他比较重要的请求头信息
获取的数据是乱码状态
写Accept-Encoding 容易乱码 请求头里面不要写
 html = requests.get(url,headers=head_data) html.encoding = 'utf-8' # 解决数据乱码
 今日学习笔记到此结束，感谢你的阅读，如有疑问或者问题欢迎私信，我会帮忙解决，如果没有回，那我就是在教室上课，抱歉。