¿Cómo limitar el grupo por filas en una consulta de mysql?

Hay otras preguntas aquí que suenan similares pero no lo son. Tengo una consulta que devuelve un grupo de filas con group by y quiero aplicar un límite al total del grupo por filas, no a las filas totales utilizadas para crear los grupos.

ID    TYPE        COLOR        SIZE
----------------------------------------
1     Circle      Blue         Large
2     Circle      Red          Large
3     Square      Green        Large
4     Circle      Purple       Large
5     Circle      Blue         Small
6     Circle      Yellow       Medium
7     Circle      Black        Large
8     Oval        Blue         Large
9     Circle      Gray         Small
10    Triangle    Black        Large
11    Star        Green        Large
12    Triangle    Purple       Large

SELECT size, type FROM clothes WHERE size = 'large' GROUP BY type LIMIT 0, 5

TYPE       SIZE       ROWS
---------------------------    
Circle     Large      4
Square     Large      1

^^^^ 2 GRUPO POR FILAS QUE YA HAN AGOTADO MI LIMITE

TYPE       SIZE       ROWS
---------------------------    
Circle     Large      4
Square     Large      1
Oval       Large      1
Triangle   Large      2
Star       Large      1

^^^^ AQUÍ ESTA LO QUE QUIERO, LIMITE APLICADO A LOS GRUPOS

Debe haber alguna subconsulta o algo que pueda hacer aquí, pero no lo estoy resolviendo.

Gracias.

Respuestas a la pregunta(3)

Su respuesta a la pregunta