Tentando remover o duplicado com base em valores exclusivos na coluna 'new', tentei até dois métodos, mas a saída df.shape sugere que antes / depois tenha a mesma forma df, o que significa que a remoção da duplicação falha.

import pandas
import numpy as np
import random

df = pandas.DataFrame(np.random.randn(10, 4), columns=list('ABCD'))

df['new'] = [1, 1, 3, 4, 5, 1, 7, 8, 1, 10]
df['new2'] = [1, 1, 2, 4, 5, 3, 7, 8, 9, 5]

print df.shape

df.drop_duplicates('new', take_last=False)
df.groupby('new').max()

print df.shape

# output
(10, 6)
(10, 6)
[Finished in 1.0s]