怎么根据颜色来计算两个图像的相似度？

这是两个方面的问题。一个是数据的单位。另一个是颜色距离的定义。

1.比较的单位是像素，直方图还是均值。如果两个图片能做对齐（registration），可以比较像素；如果两图片在空间上不相关，像素的位置没有相关性，可比较直方图（直方图的比较）；更简化的是只比较均值。

2.颜色空间的定义，可以是RGB，更精确的是CIE delta E（因为人眼对RGB的敏感程度并不一样）。选定颜色空间后，距离可用欧式距离。更多距离的选择 可参考Statistical_distance。

根据你的描述，可以先尝试计算两组RGB直方图的距离和。

每个图像都有RGB的直方图，可以得到RGB直方图的拟合线，然后对拟合线做聚类