Prever os resultados agrupados do linq é incrivelmente lento, alguma dica?

Eu fiz alguns perfis em um programa que estou executando e o que leva mais tempo é obter os resultados da consulta linq:

var Results = 
    from a in Table
    group a by a.Value into b
    select new {Group = b};

foreach(var Result in Results)
{
    //Do calcs
}

Alguma idéia de como posso acelerar isso?