Área ativa menor para UIBarButtonItem personalizado

Eu tenho um UINavigationBar com um UIBarButtonItem personalizado (que usa um UIButton como exibição personalizada). O problema é: a área ativa do botão personalizado é muito grande; se eu tocar em pelo menos 40 pixels fora do botão, ele ainda será registrado como um toque no botão. Isso resulta em toques acidentais. Como posso reduzir a área ativa desses botões?