简单的用Python来获取微博评论，制作词云图。

首先准备环境模块

环境使用

  • Python 3.8或以上版本即可
  • Pycharm 任意版本

模块使用

import requests import wordcloud import jieba

以上三个模块都需要安装，直接pip install 加上模块名安装即可。

爬虫基本流程

一. 数据来源分析

  1. 明确需求: 明确采集的网站以及数据内容
    – 网址: https://weibo.com/2803301701/NxcPMvW2l
    – 数据: 评论内容
  2. 抓包分析: 通过开发者工具进行抓包
    – 打开开发者工具: F12
    – 刷新网页
    – 通过关键字查找对应的数据
    关键字: 评论的内容
    数据包地址: https://weibo.com/ajax/statuses/buildComments?is_reload=1&id=4979141627611265&is_show_bulletin=2&is_mix=0&count=10&uid=2803301701&fetch_level=0&locale=zh-CN

二. 代码实现步骤

  1. 发送请求 -> 模拟浏览器对于url地址发送请求
  2. 获取数据 -> 获取服务器返回响应数据
  3. 解析数据 -> 提取评论内容
  4. 保存数据 -> 保存本地文件 (文本 csv Excel 数据库)

代码展示数据采集部分

1、发送请求 -> 模拟浏览器对于url地址发送请求

# 模拟浏览器headers = {    # Referer 防盗链    'Referer':'https://weibo.com/2803301701/NxcPMvW2l',    # User-Agent 用户代理    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'}# 请求网址url = 'https://weibo.com/ajax/statuses/buildComments'# 请求参数data = {    'is_reload': '1',    'id': '4979141627611265',    'is_show_bulletin': '2',    'is_mix': '0',    'max_id': max_id,    'uid': '2803301701',    'fetch_level': '0',    'locale': 'zh-CN',}# 发送请求response = requests.get(url=url, params=data, headers=headers)

2、获取数据 -> 获取服务器返回响应数据

json_data = response.json()print(json_data)

3、解析数据 -> 提取评论内容

# 提取评论所在列表content_list = json_data['data']# for循环遍历, 提取列表里面元素for index in content_list:    content = index['text_raw']    print(content)

4、保存数据

保存文本

with open('data.txt', mode='a', encoding='utf-8') as f:    f.write(content)    f.write('\n')print(content)

保存表格

    with open('data.txt', mode='a', encoding='utf-8') as f:        f.write(content)        f.write('\n')    print(content)df = pd.DataFrame(lis)df.to_excel(excel_writer:'data.xlsx', index=False) # 数据采集和可视化我还录制了详细的视频讲解 # 跟代码一起打包好放在这个抠裙了 708525271

可视化部分

# 导入结巴分词import jieba# 导入词云图模块import wordcloud """词云分析"""# 读取文件内容f = open('data.txt', encoding='utf-8').read()# 分词txt = jieba.lcut(f)# 把列表合并成字符串string = ' '.join(txt)# 制作词云图配置wc = wordcloud.WordCloud(    font_path='msyh.ttc',    width=1000,  # 宽    height=700, # 高    background_color='white', # 背景颜色 默认黑色)# 导入内容wc.generate(string)wc.to_file('词云_3.png')print(txt)

词云图效果展示


好了，本次分享就结束了，下次再见！