Ignore campos apenas no json, mas não no xml, com jackson-dataformat-xml

Usando jackson com o módulo jackson-dataformat-xml, sou capaz de serializar o POJO para json e xml. Existem alguns campos (atributos xml) no meu objeto que devem ser serializados apenas para XML e não para json. Se eu aplicar a anotação @JsonIgnore, o campo será completamente ignorado, mesmo com @JsonXMLProperty.

Como posso ignorar campos apenas no json, mas não no xml?

questionAnswers(1)

yourAnswerToTheQuestion