Enmascarar valores específicos de una matriz

Ejemplo:

Tengo una matriz:

array([[1, 2, 0, 3, 4],
       [0, 4, 2, 1, 3],
       [4, 3, 2, 0, 1],
       [4, 2, 3, 0, 1],
       [1, 0, 2, 3, 4],
       [4, 3, 2, 0, 1]], dtype=int64)

Tengo un conjunto (longitud variable, el orden no importa) de valores "malos":

{2, 3}

Quiero devolver la máscara que oculta estos valores:

array([[False,  True, False,  True, False],
       [False, False,  True, False,  True],
       [False,  True,  True, False, False],
       [False,  True,  True, False, False],
       [False, False,  True,  True, False],
       [False,  True,  True, False, False]], dtype=bool)

¿Cuál es la forma más sencilla de hacer esto en NumPy?

Respuestas a la pregunta(3)

Su respuesta a la pregunta