Como obtenho a chave anterior do SortedDictionary?

Eu tenho dicionário contendo pares de valores-chave.

SortedDictionary<int,int> dictionary=new SortedDictionary<int,int>();
dictionary.Add(1,33);
dictionary.Add(2,20);
dictionary.Add(4,35);

Desejo obter um par de valores-chave anterior a partir de um valor-chave conhecido. No caso acima, se eu tiver a chave 4, como posso obter<2,20>?