Tengo una tabla en mi MySQL con duplicados. Intento eliminar los duplicados y mantener una entrada. No tengo una clave primaria

Puedo encontrar los duplicados por:

select user_id, server_id, count(*) as NumDuplicates
from user_server
group by user_id, server_id
having NumDuplicates > 1

Pero no puedo eliminarlos con:

ALTER IGNORE TABLE `user_server`  
ADD UNIQUE INDEX (`user_id`, `server_id`);

Incluso SET foreign_key_checks = 0; no está trabajando. Código de error: 1062. Entrada duplicada '142-20' para la clave 'user_id_3'

Versión de MySQL: 5.5.18 Motor: InnoDB

¿Hay otra manera?