Estoy trabajando en una aplicación de accesibilidad. Cuando el usuario desea abandonar la aplicación, le muestro un cuadro de diálogo en el que tiene que confirmar que desea hacerlo, si no confirma después de 5 segundos, el cuadro de diálogo debería cerrarse automáticamente (ya que probablemente el usuario lo abrió accidentalmente). Esto es similar a lo que sucede en Windows cuando cambia la resolución de la pantalla (aparece una alerta y, si no la confirma, vuelve a la configuración anterior).

Así es como muestro el diálogo:

AlertDialog.Builder dialog = new AlertDialog.Builder(this).setTitle("Leaving launcher").setMessage("Are you sure you want to leave the launcher?");
            dialog.setPositiveButton("Confirm", new DialogInterface.OnClickListener() {
                @Override
                public void onClick(DialogInterface dialog, int whichButton) {
                    exitLauncher();
                }
            });
            dialog.create().show();

¿Cómo puedo cerrar el diálogo 5 segundos después de mostrarlo?