Jak zidentyfikować pierwsze wystąpienie zduplikowanych wierszy w pandonie Python Dataframe
Mam pandę DataFrame ze zduplikowanymi wartościami dla zestawu kolumn. Na przykład:
df = pd.DataFrame({'Column1': {0: 1, 1: 2, 2: 3}, 'Column2': {0: 'ABC', 1: 'XYZ', 2: 'ABC'}, 'Column3': {0: 'DEF', 1: 'DEF', 2: 'DEF'}, 'Column4': {0: 10, 1: 40, 2: 10})
In [2]: df
Out[2]:
Column1 Column2 Column3 Column4 is_duplicated dup_index
0 1 ABC DEF 10 False 0
1 2 XYZ DEF 40 False 1
2 3 ABC DEF 10 True 0
Wiersze (1) i (3) są takie same. Zasadniczo wiersz (3) jest duplikatem wiersza (1).
Szukam następującego wyjścia:
Is_Duplicate
, zawierające informację, czy wiersz jest duplikatem, czy nie [można to wykonać za pomocą metody „powielonej” w kolumnach ramki danych (Column2, Column3 i Column4)]
Dup_Index
oryginalny indeks duplikatu wiersza.
In [3]: df
Out[3]:
Column1 Column2 Column3 Column4 Is_Duplicate Dup_Index
0 1 ABC DEF 10 False 0
1 2 XYZ DEF 40 False 1
2 3 ABC DEF 10 True 0