MySQL Doppelter Fehler mit ALTER IGNORE TABLE

Ich habe eine Tabelle in MySQL mit Duplikaten. Ich versuche die Duplikate zu löschen und behalte einen Eintrag. Ich habe keinen Primärschlüssel

Ich kann die Duplikate finden durch:

select user_id, server_id, count(*) as NumDuplicates
from user_server
group by user_id, server_id
having NumDuplicates > 1

Aber kann sie nicht löschen mit:

ALTER IGNORE TABLE `user_server`  
ADD UNIQUE INDEX (`user_id`, `server_id`);

Selbst SET foreign_key_checks = 0; funktioniert nicht. Fehlercode: 1062. Doppelter Eintrag '142-20' für den Schlüssel 'user_id_3'

MySQL Version: 5.5.18 Engine: InnoDB

Gibt es eine andere Möglichkeit