FileLoadException estranho ao carregar assembly referenciado pelo projeto WPF usando Assembly.ReflectionOnlyLoadFrom

Eu tenho uma tarefa personalizada do MSBuild que espreita dentro de um assembly para obter alguns meta-dados de atributo.