Estou curioso para saber por que uma concatenação simples de dois quadros de dados em pandas:

shape: (66441, 1)
dtypes: prediction    int64
dtype: object
isnull().sum(): prediction    0
dtype: int64

shape: (66441, 1)
CUSTOMER_ID    int64
dtype: object
isnull().sum() CUSTOMER_ID    0
dtype: int64

da mesma forma e ambos sem valores de NaN

foo = pd.concat([initId, ypred], join='outer', axis=1)
print(foo.shape)
print(foo.isnull().sum())

pode resultar em muitos valores de NaN se associado.

(83384, 2)
CUSTOMER_ID    16943
prediction     16943

Como posso corrigir esse problema e impedir que os valores de NaN sejam introduzidos?

Tentando reproduzi-lo como

aaa  = pd.DataFrame([0,1,0,1,0,0], columns=['prediction'])
print(aaa)
bbb  = pd.DataFrame([0,0,1,0,1,1], columns=['groundTruth'])
print(bbb)
pd.concat([aaa, bbb], axis=1)

falhou, por exemplo funcionou bem, pois não foram introduzidos valores de NaN.