BeanDeserializerModifier de Jackson não funciona com os campos finai

Eu escrevi um serializador personalizado e um desserializador personalizado para serializar as propriedades marcadas com a anotação @ Confidentia

@Data
public class Person {
   private String name;

   @Confidential
   private String address;
}

O serializador personalizado serializa um POJO com os seguintes valores:

{ "name": "John Doe", "address": "Kearney St"}

do seguinte modo

{"name":"John Doe", "address": {"value":"IjIwMzEwIDU4dGggTG4gTkUi"}}

O desserializador personalizado também pode desserializar o JSON de volta à multa do POJO da pesso

No entanto, quando eu faço os campos na pessoa POJO final, a serialização continua funcionando, mas a desserialização falh

@Data
public class Person {
    private final String name;

    @Confidential
    private final String address;
 }

Aqui está a implementação do BeanSerializerModifier:

@AllArgsConstructor
public class CustomDeserializerModifier extends BeanDeserializerModifier {
    private final ObjectMapper objectMapper;

    @Override
    public BeanDeserializerBuilder updateBuilder(final DeserializationConfig config,
                                                 final BeanDescription beanDesc,
                                                 final BeanDeserializerBuilder builder) {
        Iterator<SettableBeanProperty> beanPropertyIterator = builder.getProperties();
        beanPropertyIterator.forEachRemaining(settableBeanProperty -> {
            final Confidential annotation = settableBeanProperty.getAnnotation(Confidential.class);
            if (encryptedProperty != null) {
                JsonDeserializer<Object> current = settableBeanProperty.getValueDeserializer();
                final SettableBeanProperty newSettableBeanProperty =
                        settableBeanProperty.withValueDeserializer(
                                new CustomDeserializer(annotation, current, objectMapper)
                        );
                builder.addOrReplaceProperty(newSettableBeanProperty, true);
            }
        });

        return builder;
    }
}

Descobri que o CustomDeserializer nunca é chamado quando os campos de Pessoa POJO são finai

Aqui está a mensagem de erro:

com.fasterxml.jackson.databind.JsonMappingException: Can not deserialize instance of java.lang.String out of START_OBJECT token
 at [Source: {"name":"John Doe","address":{"value":"IjIwMzEwIDU4dGggTG4gTkUi"}}; line: 1, column: 30] (through reference chain: com.custom.model.Person["address"])

Pode ser um especialista em Jackson, por favor me diga por que meu CustomDeserializer não está sendo chamado quando os campos do POJO são finai

Obrigado