K-Means实现mini-batch online learning的原理是什么？

mini batch K means的原始论文Web-Scale K-Means Clustering。

每次数据只随机取一个mini batch$M$。第13行的公式$c\leftarrow (1-\eta)c+\eta x$，其中第一项$(1-\eta)c$是momentum，第二项$\eta x$是每个数据点带来的改变量，相当于每个点提供的gradient，$\eta$是learning rate。所以相当于是带momentum的minibatch gradient descent。注意，比较一下一般不带momentum的batch Kmeans，第13行应该改为$c\leftarrow \sum_{x_i \in S_c}\frac{x_i}{N_c}$，也就是cluster中所有数据点的均值为中心点。

原文并没有从原理或理论上证明mini-batch Kmeans等价于Kmeans。事实上可能并不等价。作者的动机是

我理解是batch gradient descent是每个batch有所有数据点，minibatch是每个batch有随机M个数据点，SGD是每个batch只有一个数据点。对于随机噪音batch > minibatch> SGD。对于计算量batch < minibatch< SGD。取一个中庸之道，就是minibatch。

论文中结果也说明minibatch（蓝色）收敛最快，效果也相近于Batch Kmeans。