文本处理中stop word什么意思

stop word 中文即停用词。

在信息检索中，为节省存储空间和提高搜索效率，在处理自然语言数据（或文本）之前或之后会自动过滤掉某些字或词，这些字或词即被称为Stop Words(停用词)。

这些停用词都是人工输入、非自动化生成的，生成后的停用词会形成一个停用词表。

对于一个给定的目的，任何一类的词语都可以被选作停用词。通常意义上，停用词大致分为两类。

1. 一类是人类语言中包含的功能词，这些功能词极其普遍，与其他词相比，功能词没有什么实际含义，比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说，当所要搜索的短语包含功能词，特别是像The Who、The The或Take That等复合名词时，停用词的使用就会导致问题。
2. 另一类词包括词汇词，比如'want'等，这些词应用十分广泛，但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果，难以帮助缩小搜索范围，同时还会降低搜索的效率，所以通常会把这些词从问题中移去，从而提高搜索性能。

stop word主要是两类

一种是虚词、没什么意思，留在里面没有什么预测能力

一种是太常见的词，你有我有全都有，留在里面也没有什么差异性

就中文来说，常见的stop word：

"的", "了", "在", "是", "我", "有", "和", "就",  "人", "都", "一", "一个", "上", "也", "很", "到", "说", "要", "去", "你",   "会", "着", "好", "自己", "这"