Probablemente este problema se deba a que no se define correctamente el widget principal. En el manual de QT o en los ejemplos disponibles en línea, el primer argumento que se pasa a QFileDialog :: getOpenFileName (o funciones similares) generalmente es "esto". En mi caso, si invoco la siguiente función con "esto", se abrirá el cuadro de diálogo y otra ventana que no contiene nada y tiene un título que es el mismo que el nombre del archivo ejecutable. Intenté deshacerme de la segunda ventana no deseada sin éxito. Reemplacé "this" con "gui :: parentWidget ()" o "0", sigue siendo el mismo problema. Además, si recuerdo correctamente, no tuve este problema antes de actualizar QT a la versión 5.0.2. Cualquier ayuda sería apreciada.

void gui::on_coordinatesBrowse_clicked()
{
     QString fileName = QFileDialog::getOpenFileName(this,"Open File");
//.....
}

y yo tengo:

gui::gui(QWidget *parent) :
    QMainWindow(parent),
    ui(new Ui::gui)
{
    ui->setupUi(this);
//.....
}

y

int main(int argc, char *argv[]) 
{
    QApplication a(argc, argv);
    gui mainW;
    mainW.show();
    return a.exec();
}