A orientação da foto capturada está mudando no android

Eu estou abrindo o aplicativo da câmera ao clicar em um botão. E exibindo a foto capturada na próxima atividade. Mas a foto capturada está girando em 90 graus. Quando exibo a imagem em uma vista depois de capturá-la, a orientação é sempre paisagem. Por que a foto não está sendo mostrada no retrato como quando a foto é tirada no modo retrato?

onClick de um botão:

Intent i = new Intent(android.provider.MediaStore.ACTION_IMAGE_CAPTURE);
i.putExtra(android.provider.MediaStore.EXTRA_OUTPUT, Uri.fromFile(new File(APP_DIR+"/latest.png")));       
startActivityForResult(i, CAPTURE_PHOTO_CONSTANT);

Inside onActvityresult:

bmp = BitmapFactory.decodeFile(APP_DIR+"/latest.png");
startActivity(new Intent(this, DisplayActivity.class));

Exibindo foto capturada:

photoViewRelativeLayout.setBackgroundDrawable(new BitmapDrawable(getResources(), CaptureActivity.bmp));