resaltar el elemento seleccionado en la vista de lista en Android

Tengo 1 vista de listacontactslist. Escribí el código para resaltar el elemento seleccionado en laListView. Está funcionando. Cuando hago clic en 1 elemento, está resaltando ese elemento, pero el problema es que si hago clic en otro elemento, también lo está resaltando. Solo quiero resaltar el elemento seleccionado. La selección anterior deberá desaparecer cuando haga clic en otro elemento.

arg1.setBackgroundResource(R.drawable.highlighter);

Este es el código en el escucha de clics que se utiliza para resaltar el elemento seleccionado. por favor ayudame

Actualiza
Estoy configurando el fondo de las filas en el adaptador:

public int[] colors = new int[]{0xFFedf5ff, 0xFFFFFFFF}; 
public int colorPos; 

[...]
colorPos = position % colors.length; 
row.setBackgroundColor(colors[colorPos]);

Respuestas a la pregunta(4)

Su respuesta a la pregunta