Tengo dos columnas desde y hasta la fecha en un marco de datos

cuando trato de agregar una nueva columna diff con para encontrar la diferencia entre dos fechas usando

df['diff'] = df['todate'] - df['fromdate']

Obtengo la columna diff en días si son más de 24 horas.

2014-01-24 13:03:12.050000,2014-01-26 23:41:21.870000,"2 days, 10:38:09.820000"
2014-01-27 11:57:18.240000,2014-01-27 15:38:22.540000,03:41:04.300000
2014-01-23 10:07:47.660000,2014-01-23 18:50:41.420000,08:42:53.760000

¿Cómo convierto mis resultados solo en horas y minutos ignorando días e incluso segundos?