La orientación de la foto capturada está cambiando en Android

Estoy abriendo la aplicación de la cámara al hacer clic en un botón. Y mostrando la foto capturada en la siguiente actividad. Pero la foto capturada está girando 90 grados. Cuando muestro la imagen en una vista después de capturarla, su orientación es siempre horizontal. ¿Por qué la foto no se muestra en vertical como está cuando se toma la foto en modo vertical?

onClick de un botón:

Intent i = new Intent(android.provider.MediaStore.ACTION_IMAGE_CAPTURE);
i.putExtra(android.provider.MediaStore.EXTRA_OUTPUT, Uri.fromFile(new File(APP_DIR+"/latest.png")));       
startActivityForResult(i, CAPTURE_PHOTO_CONSTANT);

Dentro de actvityresult:

bmp = BitmapFactory.decodeFile(APP_DIR+"/latest.png");
startActivity(new Intent(this, DisplayActivity.class));

Viendo la foto capturada:

photoViewRelativeLayout.setBackgroundDrawable(new BitmapDrawable(getResources(), CaptureActivity.bmp));

Respuestas a la pregunta(4)

Su respuesta a la pregunta