Como faço para combinar um padrão com aspas opcionais?

Como alguém escreveria uma regex que corresponde a um padrão que pode conter aspas, mas, se o fizer, deve ter aspas correspondentes no início e no final?

"?(pattern)"?

Não funcionará porque permitirá padrões que começam com uma citação, mas não terminam com uma.

"(pattern)"|(pattern)

Vai funcionar, mas é repetitivo. Existe uma maneira melhor de fazer isso sem repetir o padrão?

questionAnswers(3)

yourAnswerToTheQuestion