Quiero detectar un elemento haciendo doble clic en un control de cuadro de lista de winforms. [¿Cómo manejar el clic en el área en blanco?]

Bueno, tengo un cuadro de lista con algunos elementos dentro.
Quiero detectar un doble clic en un elemento.
Actualmente, el método que estoy usando tiene el problema de que si un usuario hace doble clic en un lugar vacío, el elemento seleccionado actualmente se señala como doble clic.

Actualizar:
Tenga en cuenta que esta pregunta no es tan fácil como parece al principio.
también tenga en cuenta que la respuesta de Timwi no es correcta porque la parte [if (ListBox1.SelectedIndex == -1)] no se ejecuta si hay un elemento seleccionado e hice clic en un espacio vacío, no sé quién lo votó pero su respuesta no es correcto.
ya tenía esta parte del código escrita
si hay una función que puede convertir las coordenadas del mouse en un elemento de cuadro de lista, entonces el problema se solucionará

Respuestas a la pregunta(2)

Su respuesta a la pregunta