Doppelte Werte spaltenübergreifend in Pandas ersetzen

Ich habe einen einfachen Datenrahmen als solchen:

df = [    {'col1' : 'A', 'col2': 'B', 'col3':   'C', 'col4':'0'},
          {'col1' : 'M', 'col2':   '0', 'col3': 'M', 'col4':'0'},
          {'col1' : 'B', 'col2':  'B', 'col3':  '0', 'col4':'B'},
          {'col1' : 'X', 'col2':  '0', 'col3':  'Y', 'col4':'0'}
          ]
df = pd.DataFrame(df)
df = df[['col1', 'col2', 'col3', 'col4']]
df  

Was sieht so aus:

| col1 | col2 | col3 | col4 |
|------|------|------|------|
| A    | B    | C    | 0    |
| M    | 0    | M    | 0    |
| B    | B    | 0    | B    |
| X    | 0    | Y    | 0    |

Ich möchte nur wiederholte Zeichen durch das Zeichen '0' in den Zeilen ersetzen. Es läuft darauf hinaus, den ersten doppelten Wert beizubehalten, auf den wir stoßen:

| col1 | col2 | col3 | col4 |
|------|------|------|------|
| A    | B    | C    | 0    |
| M    | 0    | 0    | 0    |
| B    | 0    | 0    | 0    |
| X    | 0    | Y    | 0    |

Das scheint so einfach, aber ich stecke fest. Alle Stupser in die richtige Richtung wäre wirklich dankbar.