Я хочу, чтобы мое приложение открывало только один процесс, т. Е. Если один процесс уже открыт и пользователь хочет снова открыть исполняемый файл - он не откроет другой процесс.

как я могу сделать это в Qt-Linux?

10x!