(Cambié un poco la pregunta, porque el problema ahora está un poco más claro)

Tengo 4 botones en mi aplicación, y cuando un usuario hace clic en cierto botón, cambio el color de ese botón.

cuando se hace clic en el botón 3 Quiero cambiar su color a verde; de lo contrario, quiero eliminar su filtro verde (cuando se hace clic en el botón 1/2/4). Si hago clic en el botón 3, aparece el filtro verde. Si luego hago clic en el botón 4, se elimina el filtro verde, pero si hago clic en el botón 1 o 2, no pasa nada. Cuando cambié la posición de los botones en el XML y puse button3 primero, ¿no sucede, ideas?

La parte relevante del diseño xml es:

<Button
android:id="@+id/ans1"
android:layout_width="fill_parent" 
     android:layout_height="wrap_content"/>
<Button
android:id="@+id/ans2"
android:layout_width="fill_parent" 
     android:layout_height="wrap_content" />
<Button
android:id="@+id/ans3"
android:layout_width="fill_parent" 
     android:layout_height="wrap_content" />
<Button
android:id="@+id/ans4"
android:layout_width="fill_parent" 
     android:layout_height="wrap_content" />

El código es:

if (answer.equals("3")) 
    {
        question.setText("In if");
        d.setColorFilter(filter); 
    }
    else
    {
        question.setText("else");
        d.setColorFilter(null);
    }