¿Alguien sabe si es posible cargar un KeyStore para que solo solicite la contraseña para el alias dado?

Ejemplo:

En mi tienda de claves tengo dos claves privadas: el Certificado de cifrado de Alice y el Certificado de cifrado de Bob.

Cuando cargo mi almacén de claves:

keyStore = KeyStore.getInstance("Windows-MY", "SunMSCAPI");
keyStore.load(null);

Se me solicita la contraseña del almacén de claves de Alice y Bob. Una vez que se ingresan, puedo usargetKey("Alice's Encryption Certificate", null); para recuperar la clave privada de Alice. Mis claves están protegidas por el proveedor de seguridad de Entrust, es quien me solicita las contraseñas al cargar el almacén de claves. Si no ingreso la contraseña de Bob e intento obtener su clave, devolverá nulo, lo cual está bien, pero me gustaría evitar la solicitud de contraseña.

¿Es posible especificar de alguna manera que solo quiero la clave de Alice antes de cargar el almacén de claves para que nunca se me solicite la contraseña de Bob?

Gracias.