Conversão implícita em System.Double com uma estrutura anulável via locais gerados pelo compilador: por que isso está falhando?

Dado o seguinte, por que a InvalidCastException é lançada? Não vejo por que ele deve estar fora de um bug (isso é em x86; x64 trava com um 0xC0000005 em clrjit.dll). class Program { static void Main(string[] args) { MyDouble? my = ...