La predicación a través de resultados agrupados de linq es increíblemente lenta, ¿algún consejo?

Hice algunos perfiles en un programa que estoy ejecutando y lo que lleva más tiempo es obtener los resultados de la consulta linq:

var Results = 
    from a in Table
    group a by a.Value into b
    select new {Group = b};

foreach(var Result in Results)
{
    //Do calcs
}

¿Alguna idea sobre cómo puedo acelerar esto?

Respuestas a la pregunta(3)

Su respuesta a la pregunta