Python: substituindo valores de outliers por valores medianos

Eu tenho um quadro de dados python em que existem alguns valores outlier. Gostaria de substituí-los pelos valores medianos dos dados, caso esses valores não estivessem lá.

id         Age
10236    766105
11993       288
9337        205
38189        88
35555        82
39443        75
10762        74
33847        72
21194        70
39450        70

Portanto, desejo substituir todos os valores> 75 pelo valor mediano do conjunto de dados do conjunto de dados restante, ou seja, o valor mediano de70,70,72,74,75.

Estou tentando fazer o seguinte:

Substitua por 0, todos os valores maiores que 75Substitua os 0s pelo valor mediano.

Mas de alguma forma, o código abaixo não está funcionando

df['age'].replace(df.age>75,0,inplace=True)