Tengo muchas relaciones entre empleado y grupo. siguiente declaración de linq

int[] GroupIDs = {6,7};


var result = from g in umGroups
    join empGroup in umEmployeeGroups on g.GroupID equals empGroup.GroupID
    where  GroupIDs.Contains(g.GroupID)                     
    select new {  GrpId = g.GroupID,EmployeeID = empGroup.EmployeeID };

devuelve groupid y employeeid. y el resultado es

GrpId  | EmployeeID
6      |   18
6      |   20  
7      |   19
7      |   20

Necesito eliminar las filas para las cuales se está repitiendo el Id. cualquiera de la fila con employeeid = 20
Gracias