Em seu livro "Programming WCF Services", Juval Lowry expressa preocupação em usar os Serviços Singleton devido às implicações no desempenh

Em um dos meus projetos, estou usando um Serviço WCF único sem estado declarado assim:

[ServiceBehavior(InstanceContextMode = InstanceContextMode.Single,
   ConcurrencyMode = ConcurrencyMode.Multiple)]
public class FooService : IFoo
{
}

O serviço é acessado de vários clientes Silverlight através de httpsTransport. Optei por um singleton porque não vejo a necessidade de sobrecarregar o sistema com sobrecarga do GC quando ele não é realmente necessário. Estou faltando alguma coisa ou essa não deveria ser a maneira mais eficiente de implementar um serviço sem estado que é igualmente rápido, senão mais rápido que um serviço instanciado pela PerCall?