¿Qué es una forma rápida de ordenar un conjunto dado de imágenes por su similitud entre sí?

En este momento tengo un sistema que hace análisis de histogramas entre dos imágenes, pero esta es una operación muy costosa y parece demasiado excesiva.

Óptimamente, estoy buscando un algoritmo que le dé a cada imagen una puntuación (por ejemplo, una puntuación entera, como el promedio RGB) y puedo clasificar por esa puntuación. Puntuaciones idénticas o puntuaciones una al lado de la otra son posibles duplicados.

<code>0299393
0599483
0499994 <- possible dupe
0499999 <- possible dupe
1002039
4995994
6004994 
</code>

Promedio RGB por imagen apesta, ¿hay algo similar?