Área activa más pequeña para UIBarButtonItem personalizado

Tengo un UINavigationBar con un UIBarButtonItem personalizado (que usa un UIButton como su vista personalizada). El problema es: el área activa del botón personalizado es demasiado grande, si toco al menos 40 píxeles fuera del botón, todavía se registra como un toque en el botón. Esto da como resultado grifos accidentales. ¿Cómo puedo reducir el área activa en estos botones?