jieba.cut中use_paddle是什么模式?

  统计/机器学习 自然语言处理 Python    浏览次数:4425        分享
0

jieba.cut分词时可以设置use_paddle,这种情形下的分词是什么模式的?与默认的方式有什么不同吗?

 

囫囵吞枣   2020-07-14 23:27



   1个回答 
1

精确模式:试图将句子最精确的切开,适合文本分析;

全模式: 把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义;

搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。

paddle模式: 预先利用PaddlePaddle,训练的序列标注模型来实现分词,支持词性标注;paddle模式使用需安装paddlepaddle-tiny

SofaSofa数据科学社区DS面试题库 DS面经

seven   2020-07-24 15:43



  相关讨论

用python统计字符串中空格的个数

bert里cls和sep分别是什么意思?

python里实现词云的package

jieba分词怎么用?

如何用python统计一个txt文本的行数

有个一万段文字 有一个关键词列表 找出文字中含有关键词的那些文字

wordcloud安装报错error: Microsoft Visual C++ 14.0 is required

怎么把英文字符串转为小写(python)?

“阅读需要X分钟”这个功能是如何实现的?

文本处理中的tf是什么意思?如何计算?

  随便看看

软聚类,硬聚类?

请问在sklearn怎么在已有的模型的基础上训练新的数据?

点击率的95%置信区间该怎么算?

人工神经网络有哪些常用的激活函数?

怎么对pandas dataframe的列求众数