Posible duplicado:
VB.NET RemoveHandler y métodos anónimos

Si agrego un controlador de eventos como este:

AddHandler s.Click, AddressOf Panel1_Click

¿Cómo puedo entonces eliminar el controlador de eventos?

Private Sub Panel1_click(ByVal sender As Object, ByVal e As System.EventArgs)
    ' Remove code
End Sub