什么是SMOTE sampling方法？

SMOTE是一种对普通过采样(oversampling)的一个改良。普通的过采样会使得训练集中有很多重复的样本。

SMOTE的全称是Synthetic Minority Over-Sampling Technique，译为“人工少数类过采样法”。

SMOTE没有直接对少数类进行重采样，而是设计了算法来人工合成一些新的少数类的样本。

为了叙述方便，就假设阳性为少数类，阴性为多数类

合成新少数类的阳性样本的算法如下：

1. 选定一个阳性样本$s$
2. 找到$s$最近的$k$个样本，$k$可以取5，10之类。这$k$个样本可能有阳性的也有阴性的。
3. 从这$k$个样本中随机挑选一个样本，记为$r$。
4. 合成一个新的阳性样本$s'$，$s'=\lambda s + (1-\lambda)r$，$\lambda$是$(0,1)$之间的随机数。换句话说，新生成的点在$r$与$s$之间的连线上。

重复以上步骤，就可以生成很多阳性样本。

=======画了几张图，更新一下======

用图的形式说明一下SMOTE的步骤：

1.先选定一个阳性样本（假设阳性为少数类）

2.找出这个阳性样本的k近邻（假设k=5)。5个近邻已经被圈出。

3.随机从这k个近邻中选出一个样本（用绿色圈出来了）。

4.在阳性样本和被选出的这个近邻之间的连线上，随机找一点。这个点就是人工合成的新的阳性样本（绿色正号标出）。

原论文：SMOTE: Synthetic Minority Over-sampling Technique

有个疑问：在第二步 "找到$s$最近的$k$个样本，$k$可以取5，10之类。这$k$个样本可能有阳性的也有阴性的", 感觉这样选会导致label混乱，比如随机数接近1的情况下，label是阴性还是阳性？我找了下资料，基本上都是要找同样label的近邻样本，比如这个：http://rikunert.com/SMOTE_explained