嗨害大家好鸭~我是小熊猫❤
就快放假啦~
大概还有十几个小时的样子吧
不知道大家的假期有什么样的安排呢？
不过大家一定要保住自己的健康码啊！！！
趁现在，先来用python做一个旅游攻略
知识点：
requests 发送网络请求parsel 解析数据csv 保存数据第三方库：
requests >>> pip install requestsparsel >>> pip install parsel模块安装:
- 按住键盘 win + r, 输入cmd回车
- 打开命令行窗口, 在里面输入 pip install 模块名
开发环境：
版 本： python 3.8+python安装包 安装教程视频
+pycharm 社区版 专业版 及 激活码文末名片获取
python学习方向:
爬虫开发: 批量采集网络当中数据内容(图片 文本 视频 音频)数据分析: 对大量数据 进行处理分析, 做可视化, 预测网站开发: 搭建网站服务 例如 淘宝 京东 豆瓣 知乎...人工智能案例思路分析:
1. 明确今天的目的, 我们需要什么数据 出发日期 天数 人均费用 人物 玩法 地点 浏览量...2. 分析网页 确定我们的数据来源 静态页面
代码实现步骤:
1. 向目标网站发送网络请求 https://travel.qunar.com/travelbook/list.htm" /> 爬取旅游网数据
1. 向目标网站发送网络请求
csv_qne = open('去哪儿.csv', mode='a', encoding='utf-8', newline='')csv_writer = csv.writer(csv_qne)csv_writer.writerow(['地点', '短评', '出发时间', '天数','人均费用','人物','玩法','浏览量','详情页'])for page in range(1, 201): url = f'https://travel.qunar.com/travelbook/list.htm?page={page}&order=hot_heat' # 写爬虫 没有太大区别 # post里面需要加一些请求参数 # 在网站开发当中 get请求不是很安全的请求 有长度限制的 # post 更加安全 提交表单数据内容 没有长度限制的 response = requests.get(url) # : 访问成功了, 接下来我们就只需要拿数据就行了
2. 获取数据 网页源代码
html_data = response.text
3. 筛选我们需要的数据 所有的详情页链接
selector = parsel.Selector(html_data) # css选择器提取网页内容 # 需要有网页开发基础 url_list = selector.css('body > div.qn_mainbox > div > div.left_bar > ul > li > h2 > a::attr(href)').getall() for detail_url in url_list: detail_id = detail_url.replace('/youji/', '') detail_url = 'https://travel.qunar.com/travelbook/note/' + detail_id
4. 向 每一个详情页 链接发送网络请求
response_1 = requests.get(detail_url)
5. 获取数据 网页源代码
data_html_1 = response_1.text
6. 提取数据
# 出发日期 天数 人均费用 人物 玩法 地点 浏览量... selector_1 = parsel.Selector(data_html_1) # ::text 提取标签里面文本内容 *所有 # 标题 title = selector_1.css('.b_crumb_cont *:nth-child(3)::text').get() # 短评 comment = selector_1.css('.title.white::text').get() # 浏览量 count = selector_1.css('.view_count::text').get() # 出发日期 date = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.when > p > span.data::text').get() # 天数 days = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.howlong > p > span.data::text').get() # 人均费用 money = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.howmuch > p > span.data::text').get() # 人物 character = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.who > p > span.data::text').get() # 玩法 play_list = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.how > p > span.data span::text').getall() play = ' '.join(play_list) print(title, comment, date, days, money, character, play, count, detail_url) csv_writer.writerow([title, comment, date, days, money, character, play, count, detail_url]) time.sleep(random.randint(3, 5))csv_qne.close()
数据分析代码
#%%import pandas as pdfrom pyecharts.commons.utils import JsCodefrom pyecharts.charts import *from pyecharts import options as opts
#%%data = pd.read_csv('去哪儿_数分.csv')data
#%%data.info()
#%%data = data[~data['地点'].isin(['攻略'])]data = data[~data['天数'].isin(['99+'])]data
#%%data.drop_duplicates(inplace=True)
#%%data['人均费用'].fillna(0, inplace=True)data['人物'].fillna('独自一人', inplace=True)data['玩法'].fillna('没有', inplace=True)
#%%data['天数'] = data['天数'].astype(int)
#%%data = data[data['人均费用'].values>200]data = data[data['天数']<=15]data
#%%data = data.reset_index(drop=True)data
#%%data = data.reset_index(drop=True)data
#%%def Month(e): m = str(e).split('/')[2] if m=='01': return '一月' if m=='02': return '二月' if m=='03': return '三月' if m=='04': return '四月' if m=='05': return '五月' if m=='06': return '六月' if m=='07': return '七月' if m=='08': return '八月' if m=='09': return '九月' if m=='10': return '十月' if m=='11': return '十一月' if m=='12': return '十二月'
#%%data['旅行月份'] = data['出发时间'].apply(Month)data['出发时间']=pd.to_datetime(data['出发时间'])data
#%%import re
#%%def Look(e): if '万' in e: num1 = re.findall('(.*" />
今天的文章就是这样啦~我是小熊猫，咱下篇文章再见啦(✿◡‿◡)
