En Mysql, quiero seleccionar los 2 elementos inferiores de cada categoría

Category Value
1        1.3
1        4.8
1        3.7
1        1.6
2        9.5
2        9.9
2        9.2
2        10.3
3        4
3        8
3        16

Dando me:

Category Value
1        1.3
1        1.6
2        9.5
2        9.2
3        4
3        8

Antes de migrar desde sqlite3, primero tenía que seleccionar el más bajo de cada categoría, luego excluir cualquier cosa que se uniera a eso, tenía que seleccionar nuevamente el más bajo de cada categoría. Entonces algo igual a ese nuevo más bajo o menos en una categoría ganó. Esto también tomaría más de 2 en caso de un empate, lo que fue molesto ... También tuvo un tiempo de ejecución muy largo.

Mi objetivo final es contar el número de veces que una persona está en uno de los 2 más bajos de una categoría (también hay un campo de nombre) y esta es la única parte que no sé cómo hacer. Gracias