Como a pergunta indica, quando carrego uma imagem em uma pictureBox (usando a caixa de diálogo), ela não aparece como sua aparência original. nesta captura de tela, a imagem à esquerda é a que carreguei na pictureBox (à direita).

Tentando saber o que causa isso, eu desenho uma imagem usando o aplicativo Paint e a giro usando o Windows Photo Viewer, a imagem girada carregada como está (girada), ou seja, algumas fotos são bem carregadas e outras são giradas! e eu não consigo entender o porquê ?!