利用Python爬取房价信息(附代码)

大家好，我是带我去滑雪，每天教你一个小技巧！住房问题从古到今一直备受人们关注。从老子谈到的“安居乐业”，再到诗人杜甫所描绘的“安得广厦千万间，大庇天下寒士俱欢颜”, 不难可以发现古往今来，对于住房问题始终倾注着人们对美好生活的希冀和梦想。时至今日，无论是学有所教、劳有所得，还是病有所医、老有所养，仍然离不开住有所居的实现。基于上述背景，本文运用python对某网站的广州房价进行了爬虫，收集了与房价有关的14项指标数据，例如房屋面积、房屋朝向、有无电梯、房屋所在楼层位置等，爬取结果具体见表1、表2。

表1python爬虫文本获取结果展示（一）

表2python爬虫文本获取结果展示（二）

Python代码如下：

import requests

from bs4 import BeautifulSoup

import pymysql

#获取房源页码链接

def get_urlpage(baseurl):

Urls = []

Urls.append(‘ 网址’)

for i in range(1,100):

Urls.append(‘网址 pg{}’.format(i+1))

return Urls

#获取房源的数据信息

def get_houseInfos(url):

r = requests.get(url)

bsobj = BeautifulSoup(r.text, ‘lxml’)

infos = bsobj.find_all(‘div’, {‘class’: ‘info clear’})

houseData = {‘title’:[],’title_link’:[],’houseInfo’:[],’positionInfo’:[],

‘followInfo’:[],’tagInfo’:[],’totalPrice’:[],’unitPrice’:[]}

for info in infos:

houseData[‘title’].append(info.find(‘div’, {‘class’: ‘title’}).text)

houseData[‘title_link’].append(info.find(‘div’, {‘class’: ‘title’}).find(‘a’)[‘href’])

houseData[‘houseInfo’].append(info.find(‘div’, {‘class’: ‘address’}).text)

houseData[‘positionInfo’].append(info.find(‘div’, {‘class’: ‘positionInfo’}).text)

houseData[‘followInfo’].append(info.find(‘div’, {‘class’: ‘followInfo’}).text)

houseData[‘tagInfo’].append(info.find(‘div’, {‘class’: ‘tag’}).text)

houseData[‘totalPrice’].append(info.find(‘div’, {‘class’: ‘totalPrice’}).text)

houseData[‘unitPrice’].append(info.find(‘div’, {‘class’: ‘unitPrice’}).text)

return houseData

if __name__ == ‘__main__’:

baseurl = ‘ 网址’

urls = get_urlpage(baseurl)

#存储到数据库MySQL

conn = pymysql.connect(host=’127.0.0.1′,user=’root’,passwd=’123456′,db=’scraping’,charset=’utf8′)

cur = conn.cursor()

try:

for url in urls:

houseData = get_houseInfos(url)

for i in range(0,len(houseData[‘title’])):

cur.execute(“insert into lianjia \ (title,title_link,houseInfo,positionInfo,followInfo,tagInfo,totalPrice,unitPrice) \

values \

(‘%s’,’%s’,’%s’,’%s’,’%s’,’%s’,’%s’,’%s’)” % \

(houseData[‘title’][i], houseData[‘title_link’][i],houseData[‘houseInfo’][i],

houseData[‘positionInfo’][i],houseData[‘followInfo’][i],

houseData[‘tagInfo’][i],houseData[‘totalPrice’][i],houseData[‘unitPrice’][i])

)

conn.commit()

finally:

cur.close()

conn.close()

需要数据集的家人们可以去百度网盘（永久有效）获取：

链接：https://pan.baidu.com/s/16GeXC9_f6KI4lS2wQ-Z1VQ?pwd=2138
提取码：2138

更多优质内容持续发布中，请移步主页查看。

点赞+关注,下次不迷路！