El siguiente ejemplo de relación uno a uno lanza una excepción

<code>public class User
{
    public int Id { get; set; }
    public Address Address { get; set; }
}

public class Address
{
    public int Id { get; set; }
    public User User { get; set; }
}
</code>

La excepción dice:

No se puede determinar el final principal de una asociación entre los tipos 'ConsoleApplication1.Address' y 'ConsoleApplication1.User'. El final principal de esta asociación debe configurarse explícitamente mediante la relación fluida de la API o las anotaciones de datos.

funciona si elimino la propiedad del usuario de la dirección pero no quiero.

¿Cómo puedo tener una relación sin excepción?