Swift Array contiene función que hace que los tiempos de construcción sean largos

No estoy seguro de si esto pertenece a Stack Overflow, si no es así, hágamelo saber.

Tengo este código que agrega contactos a una matriz, si ya existe un contacto con esa combinación de teléfono / nombre en la matriz, no lo agrega nuevamente (lo que significa que no hay duplicados).

Funciona según lo previsto, pero aumenta drásticamente los tiempos de construcción y estoy buscando una mejor manera de usarcontains o algún otro enfoque.

var contacts = [CNContact]()

let name: String = contact.givenName + " " + contact.middleName + " " + contact.familyName

if (name.stringByReplacingOccurrencesOfString(" ", withString: "")).length > 1
{
    if contact.phoneNumbers.count > 0 
    {
        // Check if contacts already contains name/phone combination
        if let phoneNumber: String = (contact.phoneNumbers[0].value as? CNPhoneNumber)?.stringValue
        {
            if contacts.contains({$0.phoneNumbers.count > 0 && ($0.phoneNumbers[0].value as? CNPhoneNumber)?.stringValue == phoneNumber}) &&
                 contacts.contains({($0.givenName + " " + $0.middleName + " " + $0.familyName) == name})
            { /* Contact with same name/phone combination already exists in array */ }
            else { contacts.append(contact) }
        }
    }
}

Respuestas a la pregunta(1)

Su respuesta a la pregunta