优草派  >   Python

Python中分词第三方库是什么?Python如何用jieba库完成中文分词

罗西汉            来源:优草派

python中文分词第三方库是jieba库,而这一篇文章所要来介绍的内容就是,python使用jieba库来完成中文分词操作的消息教程。想要学习这个方法和知识的小伙伴都可以来看看这篇文章,说不定就对自己有所帮助呢。

Python中分词第三方库是什么?Python如何用jieba库完成中文分词

一、精确模式

在使用它之前需要用pip工具将jieba库安装好才可以,而它又分为三种分词方式,所调用的方法也是不同的。其中精确模式就是将字符串分割成中文词组,代码示例如下所示:

import jieba
ls = jieba.lcut("黑夜给了我黑色的眼睛,我却用它来寻找光明")
print(ls)
['黑夜', '给', '了', '我', '黑色', '的', '眼睛', ',', '我', '却', '用', '它', '来', '寻找', '光明']

从输出结果就可以看出来,精确模式下中文分词,是按照名词和动词来进行划分的。例如它将给了划分开来,却将黑色和眼睛这种名词又划分成一个词语。

二、全模式

另外的一种分词方式就是全模式,它的作用就是将字符串之中全部具有分词可能的词语都列出来。相对来说执行速度会慢一些,但是准确度应该是最高的,代码如示例如下所示:

ls = jieba.lcut("黄河之水天上来,奔流到海不复回", cut_all=True)
print(ls)
['黄河', '之', '水', '天上', '上来', ',', '奔流', '流到', '海', '不复', '回']

三、搜索模式

而自后一种中文分词模式叫做搜索模式,它主要是在精确模式分词基础上,对于一些过长的次元再次进行拆分来得到最为适合搜索的关键词,代码示例如下所示:

ls = jieba.lcut_for_search("为什么我的眼里常含泪水,因为我对这土地爱得深沉")
print(ls)
['什么', '为什么', '我', '的', '眼里', '常含', '泪水', ',', '因为', '我', '对', '这', '土地', '爱得', '深沉']

以上就是关于“Python中分词第三方库是什么?Python如何用jieba库完成中文分词”的全部内容了,希望对你有所帮助。

【原创声明】凡注明“来源:优草派”的文章,系本站原创,任何单位或个人未经本站书面授权不得转载、链接、转贴或以其他方式复制发表。否则,本站将依法追究其法律责任。