Como você limita o grupo por linhas em uma consulta mysql?

Há outras perguntas aqui que soam parecidas, mas não são. Eu tenho uma consulta que retorna um monte de linhas com o grupo por e eu quero aplicar um limite para o total do grupo por linhas, não o total de linhas usadas para criar os grupos.

ID    TYPE        COLOR        SIZE
----------------------------------------
1     Circle      Blue         Large
2     Circle      Red          Large
3     Square      Green        Large
4     Circle      Purple       Large
5     Circle      Blue         Small
6     Circle      Yellow       Medium
7     Circle      Black        Large
8     Oval        Blue         Large
9     Circle      Gray         Small
10    Triangle    Black        Large
11    Star        Green        Large
12    Triangle    Purple       Large

SELECT size, type FROM clothes WHERE size = 'large' GROUP BY type LIMIT 0, 5

TYPE       SIZE       ROWS
---------------------------    
Circle     Large      4
Square     Large      1

^^^^ 2 GRUPO POR LINHAS QUE JÁ ESGOTARAM MEU LIMITE

TYPE       SIZE       ROWS
---------------------------    
Circle     Large      4
Square     Large      1
Oval       Large      1
Triangle   Large      2
Star       Large      1

^^^^ AQUI É O QUE EU QUERO LIMITAR APLICADO AOS GRUPOS

Deve haver alguma subconsulta ou algo que eu possa fazer aqui, mas não estou entendendo.

Obrigado.

questionAnswers(3)

yourAnswerToTheQuestion