nlp里的stemming是什么意思?

  统计/机器学习 自然语言处理    浏览次数:5464        分享
0

nlp里的stemming是什么意思?

 

newcomer   2018-10-24 10:22



   2个回答 
8

stemming是词干抽取、词根提取的意思。这个一般是针对外语词汇,中文中很少有这个概念。

比如英文,每个词都有很多变形,动词、过去式、名词、动名词、单数、复数等等,stemming就是把各种形式的词还原到本身的词干上。例如

eat有eating, eaten, ate, eats, eatings等等变形,经过stemming之后,这些词应该都会变为eat

再比如这些词:color, colors, colorful, coloring, colored, colorfully等等,stemming之后,提取出来的就都是color

SofaSofa数据科学社区DS面试题库 DS面经

东布东   2018-10-27 14:50

thanks - newcomer   2018-11-16 09:58
2

找词干的意思

SofaSofa数据科学社区DS面试题库 DS面经

山中人   2018-10-29 14:32



  相关讨论

文本处理中的tf是什么意思?如何计算?

jieba分词中最大正向匹配法是什么?

怎么判断一句中文话语是否通顺

自然语言处理中的Tf-idf是什么意思

文本处理中stop word什么意思

“阅读需要X分钟”这个功能是如何实现的?

jieba.cut中use_paddle是什么模式?

怎么把英文字符串转为小写(python)?

用python统计字符串中空格的个数

wordcloud安装报错error: Microsoft Visual C++ 14.0 is required

  随便看看

把pandas.DataFrame中所有行全部随机排列

二维numpy.array转为一维的numpy.array或者list

python或者numpy求数值的中位数、四分位数

什么是K-Modes(K众数)聚类法?

行数很多的pandas DataFrame如何在jupyter中完整显示?