Regex como combinar todas as pontuações, mas excluir algumas condições

Eu posso usar\p{Punct} para corresponder a todas as pontuações (incluindo sublinhado).

E eu queriaexcluir todos apóstrofos estritamente dentro de uma palavra. Para isso eu estou usando(?<=[a-zA-Z])'(?=[a-zA-Z])

No entanto, eu não poderia fazê-los trabalhar juntos para corresponder a todas as pontuações, exceto apóstrofos, estritamente dentro de uma palavra.

O que devo usar?

exemplos:

my brother's isso não deve corresponder.

my brothers' isso deve corresponder.

my 'brother' estes devem corresponder.

questionAnswers(2)

yourAnswerToTheQuestion