Alterando a cor de fundo dos itens do ListView no Android

Como posso alterar a cor de fundo deListView itens por item. Quando eu usoandroid:backgroundColor noListView layout do item Eu posso conseguir isso, no entanto, o seletor de lista não está mais visível. Posso tornar o seletor visível novamente definindodrawSelectorOnTop para true, mas o seletor sobrepõe todo o item.

Alguma idéia de como alterar essas cores de fundo e manter o seletor?

PS Prefiro não mudar o seletor em si.

EDIT: Os autores do aplicativo GMail conseguiram exatamente isso, então é definitivamente possível.