Estoy teniendo la excepción

Se han detectado cambios conflictivos en el rol x de la relación y.

Cada vez que agrego mi entidad a mi contexto

Database.MyEntitys.Add(MyEntity);

La clase MyEntity contiene esta propiedad:

public virtual ICollection<DetailInfo> Group { get; set; }

La clase DetailInfo es bastante simple:

public class DetailInfo:BaseEntity {
    public virtual Detail Detail { get; set; }
    public decimal Total { get; set; }
    public virtual MyEntity MyEntity { get; set; }
}

El DatabaseContext también es simple:

public class MyEntityConfiguration : EntityTypeConfiguration<MyEntity> {
    public MyEntityConfiguration() {
        HasMany(e => e.Group).WithRequired(s => s.MyEntity).WillCascadeOnDelete(true);
    }
}

public class DetailInfoConfiguration : EntityTypeConfiguration<DetailInfo> {
    public DetailInfoConfiguration() {
        HasRequired(x => x.MyEntity).WithMany(s => s.Group);
        HasRequired(x => x.Detail);
        HasKey(s => s.ID);
        ToTable("DetailInfo");
    }
}

En el lado de la base de datos, la tabla MyEntity tiene una clave principal para el ID de columna. La DetailInfo también tiene una clave principal llamada ID. DetailInfo contiene 2 FK, uno para MyEntity y otro para Detail, que es otra entidad.

En el escenario problemático, la MyEntity es nueva tiene un nuevo Detalle. Estoy esperando una nueva entrada para MyEntity con un nuevo detalle y tengo todos los FK configurados correctamente.

Editar:

Aquí está el Inserto:

public virtual int Insert(MyEntity myEntity) {

    if (myEntity.Group != null && myEntity.Group.Count() == 0) {
        myEntity.Group = null; 
    }

    if (myEntity.Group != null) {
        foreach (var g in myEntity.Group)
        {
         if (g.PropertyOneToOne != null) {
                if (g.PropertyOneToOne.ID == 0) {
                    myEntity.PropertyOneToOne = null;
                }
                else {
                    if (!Database.PropertyOneToOnes.Local.Any(e => e.ID == g.PropertyOneToOne.ID)) {
                        Database.PropertyOneToOnes.Attach(g.PropertyOneToOne);
                    }
                    myEntity.PropertyOneToOne = Database.PropertyOneToOnes.Local.Single(e => e.ID == g.PropertyOneToOne.ID);
                }
            }
            else {
                myEntity.PropertyOneToOne = null;
            }
        }
    }
    Database.MyEntitys.Add(myEntity);
}