Pandas: como mudar todos os valores de uma coluna?

Eu tenho um quadro de dados com uma coluna chamada"Date" e deseja que todos os valores desta coluna tenham o mesmo valor (somente o ano). Exemplo:

City     Date
Paris    01/04/2004
Lisbon   01/09/2004
Madrid   2004
Pekin    31/2004

O que eu quero é:

City     Date
Paris    2004
Lisbon   2004
Madrid   2004
Pekin    2004

Aqui está o meu código:

fr61_70xls = pd.ExcelFile('AMADEUS FRANCE 1961-1970.xlsx')

#Here we import the individual sheets and clean the sheets    
years=(['1961','1962','1963','1964','1965','1966','1967','1968','1969','1970'])

fr={}

header=(['City','Country','NACE','Cons','Last_year','Op_Rev_EUR_Last_avail_yr','BvD_Indep_Indic','GUO_Name','Legal_status','Date_of_incorporation','Legal_status_date'])

for year in years:
    # save every sheet in variable fr['1961'], fr['1962'] and so on
    fr[year]=fr61_70xls.parse(year,header=0,parse_cols=10)
    fr[year].columns=header
    # drop the entire Legal status date column
    fr[year]=fr[year].drop(['Legal_status_date','Date_of_incorporation'],axis=1)
    # drop every row where GUO Name is empty
    fr[year]=fr[year].dropna(axis=0,how='all',subset=[['GUO_Name']])
    fr[year]=fr[year].set_index(['GUO_Name','Date_of_incorporation'])

Acontece que nos meus DataFrames, chamados por exemplofr['1961'] os valores deDate_of_incorporation pode ser qualquer coisa (strings, integer e assim por diante), então talvez seja melhor apagar completamente essa coluna e anexar outra coluna com apenas o ano aos DataFrames?

questionAnswers(3)

yourAnswerToTheQuestion