Controles personalizados na pergunta de evento de mouse do Windows Forms em C #

Eu tenho um evento mouseenter e mouseleave para um controle Panel que altera a cor de fundo quando o mouse entra e volta para branco quando sai.

Também tenho controle Label nesse painel, mas quando o mouse entra no controle Label, o evento mouseleave do painel é acionado.

Isso faz sentido, mas como faço para manter a cor de fundo do painel igual quando o mouse está em sua área sem que os outros controles internos o afetem?