Verifiquei online algumas respostas e entendi que não consigo traduzir o ToInt32 para T-SQL. Preciso usar primeiro executar minha consulta na memória e depois fazer a conversão, mas não sei como aplicá-la no meu exemplo. Tenho a consulta abaixo e ela me mostra a mensagem de erro escrita no título:

string[] parts = rvm.ZipCode.Split('-');
var list = results.OrderBy(b => 
  Math.Abs(Convert.ToInt32(parts[0]) - Convert.ToInt32(b.Zip))).Take(5).ToList();

Onderesults é outra consulta que eu apliquei anteriormente. Alguma idéia de como resolvê-lo?