Tabelas de freqüência em pandas (como plyr em R)

Question

Mar 23, 2013, 05:47 PM

Tabelas de freqüência em pandas (como plyr em R)

Meu problema é como calcular frequências em múltiplas variáveis em pandas. Eu tenho deste dataframe:

d1 = pd.DataFrame( {'StudentID': ["x1", "x10", "x2","x3", "x4", "x5", "x6",   "x7",     "x8", "x9"],
                       'StudentGender' : ['F', 'M', 'F', 'M', 'F', 'M', 'F', 'M', 'M', 'M'],
                 'ExamenYear': ['2007','2007','2007','2008','2008','2008','2008','2009','2009','2009'],
                 'Exam': ['algebra', 'stats', 'bio', 'algebra', 'algebra', 'stats', 'stats', 'algebra', 'bio', 'bio'],
                 'Participated': ['no','yes','yes','yes','no','yes','yes','yes','yes','yes'],
                  'Passed': ['no','yes','yes','yes','no','yes','yes','yes','no','yes']},
                  columns = ['StudentID', 'StudentGender', 'ExamenYear', 'Exam', 'Participated', 'Passed'])

Para o seguinte resultado

             Participated  OfWhichpassed
 ExamenYear                             
2007                   3              2
2008                   4              3
2009                   3              2

(1) Uma possibilidade que tentei é calcular dois dados e ligá-los

t1 = d1.pivot_table(values = 'StudentID', rows=['ExamenYear'], cols = ['Participated'], aggfunc = len)
t2 = d1.pivot_table(values = 'StudentID', rows=['ExamenYear'], cols = ['Passed'], aggfunc = len)
tx = pd.concat([t1, t2] , axis = 1)

Res1 = tx['yes']

(2) A segunda possibilidade é usar uma função de agregação.

import collections
dg = d1.groupby('ExamenYear')
Res2 = dg.agg({'Participated': len,'Passed': lambda x : collections.Counter(x == 'yes')[True]})

 Res2.columns = ['Participated', 'OfWhichpassed']

Ambas as formas são estranhas, para dizer o mínimo.Como isso é feito corretamente em pandas?

P.S: Eu também tenteivalue_counts ao invés decolecções.Contador mas não conseguiu fazê-lo funcionar

Para referência: Alguns meses atrás, eu fiz uma pergunta semelhante para RAqui ePlyr Poderia ajudar

---- ATUALIZAR ------

do utilizadorDSM está certo. houve um erro no resultado da tabela desejada.

(1) O código da primeira opção é

 t1 = d1.pivot_table(values = 'StudentID', rows=['ExamenYear'], aggfunc = len)
 t2 = d1.pivot_table(values = 'StudentID', rows=['ExamenYear'], cols = ['Participated'], aggfunc = len)
 t3 = d1.pivot_table(values = 'StudentID', rows=['ExamenYear'], cols = ['Passed'], aggfunc = len)

 Res1 = pd.DataFrame( {'All': t1,
                       'OfWhichParticipated': t2['yes'],
                     'OfWhichPassed': t3['yes']})

Produzirá o resultado

             All  OfWhichParticipated  OfWhichPassed
ExamenYear                                         
2007          3                    2              2
2008          4                    3              3
2009          3                    3              2

(2) Para a Opção 2, graças ao usuárioHerrfz, Eu descobri como usar value_count e o código será

Res2 = d1.groupby('ExamenYear').agg({'StudentID': len,
                                 'Participated': lambda x: x.value_counts()['yes'],
                                 'Passed': lambda x: x.value_counts()['yes']})

Res2.columns = ['All', 'OfWgichParticipated', 'OfWhichPassed']

que produzirá o mesmo resultado que Res1

Minha pergunta permanece:

Usando a Opção 2, será possível usar a mesma Variável duas vezes (para outra operação?) Pode-se passar um nome personalizado para a variável resultante?

---- UMA NOVA ATUALIZAÇÃO ----

Eu finalmente decidi usarAplique o que eu entendo é mais flexível.