De los documentos:

Un objeto de operación puede estar como máximo en una cola de operación a la vez y este método genera una excepción NSInvalidArgumentException si la operación ya está en otra cola. De manera similar, este método genera una excepción NSInvalidArgumentException si la operación se está ejecutando actualmente o ya ha terminado de ejecutarse.

Entonces, ¿cómo puedo verificar si puedo agregar una operación NSO a una cola de manera segur

La única forma que sé es agregar la operación y luego tratar de detectar la excepción si la operación ya está en una cola o ejecutada antes.