Tengo una mesa como esta:

Rank      Letter
1         A
2         A
3         B
4         A
5         C
6         A
7         C
8         C
9         B
10        C 

Y necesito los 2 primeros de cada letra ordenados por rango ascendente:

Rank      Letter
1         A
2         A
3         B
5         C
7         C
9         B

¿Cómo lo haría? Es bastante sencillo obtener el top 1 con GROUP BY, pero parece que no puedo hacerlo funcionar para varias entradas