Eu tenho um andróideListView cujos itens têm uma caixa de seleção.

A caixa de seleção está marcada por padrão. Uma vez desmarcada, deve ser removida da lista.

O problema é queonCheckedChanged está sendo disparado duas vezes: quando toco na caixa de seleção para desmarcá-la (comisChecked false) e depois de remover o item (comisChecked true)

Este é o código relevante do meu ArrayAdapter:

public View getView(final int position, View convertView, ViewGroup parent) {
    ViewHolder holder;
    if (convertView == null) {
        convertView = mInflater.inflate(R.layout.item, parent, false);
        holder = new ViewHolder();
        holder.check = (CheckBox) convertView.findViewById(R.id.check);
        convertView.setTag(holder);
    } else {
        holder = (ViewHolder) convertView.getTag();
    }
    final Object item = this.getItem(position);
    holder.check.setOnCheckedChangeListener(new CheckBox.OnCheckedChangeListener() {
        @Override
        public void onCheckedChanged(CompoundButton buttonView, boolean isChecked) {
            if (!isChecked) {
                remove(item); // This somehow calls onCheckedChanged again
            }
        }
    });
    return convertView;
}

O que estou fazendo errado?