Como ler atributos personalizados usando o reflexo definido pela API Fluent no EF 4.1

Consegui ler atributos personalizados quando uso a anotação de dados. como segue o código.

Object[] test = propertyInfo.GetCustomAttributes(typeof(KeyAttribute), true);

Mas quando mudei para usar a API Fluent. Eu não conseguia mais ler esse atributo. Qualquer ideia