¿Cómo calcular la diferencia horaria por grupo usando pandas?

Problema

Quiero calculardiff por grupo Y no sé cómo ordenar eltime columna para que los resultados de cada grupo estén ordenados y sean positivos.

Los datos originales:

In [37]: df 
Out[37]:
  id                time
0  A 2016-11-25 16:32:17
1  A 2016-11-25 16:36:04
2  A 2016-11-25 16:35:29
3  B 2016-11-25 16:35:24
4  B 2016-11-25 16:35:46

El resultado que quiero

Out[40]:
   id   time
0  A   00:35
1  A   03:12
2  B   00:22

aviso: el tipo de tiempo col es timedelta64 [ns]

Molesto
In [38]: df['time'].diff(1)
Out[38]:
0                 NaT
1            00:03:47
2   -1 days +23:59:25
3   -1 days +23:59:55
4            00:00:22
Name: time, dtype: timedelta64[ns]

No obtengas el resultado deseado.

Esperanza

No solo resuelve el problema, sino que el código puede ejecutarse rápidamente porque hay 50 millones de filas.

Respuestas a la pregunta(1)

Su respuesta a la pregunta