List.Except no funciona

Intento restar 2 listas como el código de abajo,assignUsers tiene 3 registros yassignedUsers tiene 2 filas. DespuésExcept método Todavía obtengo 3 filas, aunque debería obtener 1 registro porque 2 filas enassignedUsers es parecido aassignUsers

 var users = accountApp.GetUsersByAccountId(context.GetUserData().AccountId);
 List<AssignUserViewModel> assignUsers = Mapper.Map<List<AssignUserViewModel>>(users).ToList();
 var mailUsers = mailApp.GetMailAssignedByMailId(id).Select(m => new { m.UserId, m.User.Name }).ToList();
 List<AssignUserViewModel> assignedUsers = mailUsers.Select(Mapper.DynamicMap<AssignUserViewModel>).ToList();
 assignUsers = assignUsers.Except(assignedUsers).ToList();

Respuestas a la pregunta(2)

Su respuesta a la pregunta