jieba.cut分词时可以设置use_paddle,这种情形下的分词是什么模式的?与默认的方式有什么不同吗?
1个回答
精确模式:试图将句子最精确的切开,适合文本分析;
全模式: 把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义;
搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
paddle模式: 预先利用PaddlePaddle,训练的序列标注模型来实现分词,支持词性标注;paddle模式使用需安装paddlepaddle-tiny
SofaSofa数据科学社区DS面试题库 DS面经