python采用第三方库进行中文分词,本文章只是记录文章。
1.需要下载第三方库jieba:
cmd: pip install jieba
2.为了方便测试,在同级目录下,准备一个txt格式文件,文件名随意,这里我也是随便取的:
文件路径可以是绝对路径,也可以是相对路径,看你的文件是放在什么位置
使用相应路径
文件内容
3.代码:
# 引入jieba分词库import jieba# 定义一个函数,用于接受一个路径def read(path):# open打开系统文件,encoding='utf8'更好的支持中文 as取别名为fwith open(path,'r',encoding='utf8') as f:lists = ''#定义一个空变量,用于存储词汇for i in f:i = i.strip()#去除空格符号lists += ireturn listsfile_path = 'nr.txt'cut_file = jieba_lcut(file_path)print(cut_file)
到这里,就可以进行基本的分词读取了, 如果仅仅使用jieba_lcut(arguments)的形式默认为精确模式,其他模式分别为:
全模式(返回词汇数量更多):jieba_lcut(arguments,cut_all=True)
搜索引擎模式(与全模式大同小异):jieba.lcut_for_search(arguments)
另外,向词典中添加新词:jieba.add_word(word)
4.进行词频统计
需要注意这串代码: dict[item] = dict.get(item,0) + 1
a.该部分运行逻辑是:如果字典里没有数据,则以当前遍历对象item作为健,等号后面为值
b.等号后面逻辑为:以item为索引获取字典对象,没有该数据则创建值,值为0,如果有该字典对象,返回该字典对象值,并+1
dict.get(item) 返回的是键值对的值
# 该部分用于统计词频def index(word):dict = {}for item in word:# 该部分运行逻辑是:如果字典里没有数据,则以当前遍历对象item作为健,等号后面为值# 等号后面逻辑为:以item为索引获取字典对象,没有该数据则创建值,赋值为0,如果有该字典对象,返回该字典对象值并+1dict[item] = dict.get(item,0) + 1return dict
5:完整代码如下
# 引入jieba分词库import jieba# 定义一个函数,用于接受一个路径def read(path):# open打开系统文件,encoding='utf8'更好的支持中文 as取别名为fwith open(path,'r',encoding='utf8') as f:lists = ''#定义一个空变量,用于存储词汇for i in f:i = i.strip()#去除空格符号lists += ireturn lists# 该部分用于统计词频def index(word):dict = {}for item in word:# 该部分运行逻辑是:如果字典里没有数据,则以当前遍历对象item作为健,等号后面为值# 等号后面逻辑为:以item为索引获取字典对象,没有该数据则创建值,赋值为0,如果有该字典对象,返回该字典对象值并+1dict[item] = dict.get(item,0) + 1return dict# 调用函数file = read('nr.txt')x = jieba.lcut(file)y = index(x)print(y)