Tengo un conjunto de datos que obtengo de una base de datos SQL y los leo en un marco de datos de pandas. El df resultante es de aproximadamente 250M filas y crece cada día. Por lo tanto, me gustaría girar la tabla para darme una tabla mucho más pequeña para trabajar (unos pocos miles de filas).

La mesa se ve algo así pero mucho más grande:

data

  report_date             item_id        views   category
0  2013-06-01                   2            3          a
1  2013-06-01                   2            2          b
2  2013-06-01                   5           16          a 
3  2013-06-01                   2            4          c
4  2013-06-01                   2            5          d

Me gustaría hacer esto mucho más pequeño ignorando la columna "categoría" y obteniendo un total de vistas por fecha e item_id.

Estoy haciendo esto:

pivot = data.pivot_table(values=['views'], rows=['report_date','item_id'], aggfunc='sum')

                                 views  
report_date item_id
2013-06-01        2                 14           
2013-06-01        5                 16

Ahora imagine que esto es mucho más grande con el rango de datos durante meses y miles de item_id's. Me gustaría seleccionar las vistas totales para item_id = 2 y report_date entre '2013-06-01' y '2013-06-10' o algo por el estilo.

Busqué varias horas seguidas, pero no puedo ver cómo seleccionar y / o filtrar los valores en mi sección de "filas" (es decir, report_date y item_id). Solo puedo filtrar / seleccionar datos en la sección "valores" (por ejemplo: vistas). Esta pregunta es similar, y al final, el autor de la pregunta comentó la misma pregunta que yo formulé, pero nunca me contestaron. Solo quería tratar de llamar la atención.

Filtrado y selección de tablas dinámicas hechas con pandas python

Aprecié toda la ayuda. Este sitio y la comunidad han sido absolutamente invaluables.