Provavelmente, este problema é devido a não definir o widget pai corretamente. No manual QT ou exemplos disponíveis online, o primeiro argumento passado para QFileDialog :: getOpenFileName (ou funções semelhantes) é geralmente "isto". No meu caso, se eu chamar a seguinte função com "this", ele irá abrir a caixa de diálogo e outra janela que não contém nada e tem um título que é o mesmo que o nome do arquivo executável. Eu tentei me livrar da segunda janela indesejada sem sucesso. Eu substitui "this" com "gui :: parentWidget ()" ou "0", ainda mesmo problema. Além disso, se bem me lembro, não tive esse problema antes de atualizar o QT para a versão 5.0.2. Qualquer ajuda seria apreciada.

void gui::on_coordinatesBrowse_clicked()
{
     QString fileName = QFileDialog::getOpenFileName(this,"Open File");
//.....
}

e eu tenho:

gui::gui(QWidget *parent) :
    QMainWindow(parent),
    ui(new Ui::gui)
{
    ui->setupUi(this);
//.....
}

e

int main(int argc, char *argv[]) 
{
    QApplication a(argc, argv);
    gui mainW;
    mainW.show();
    return a.exec();
}