У меня сложилось впечатление, что доступ кunion член, отличный от последнего набора - UB, но я не могу найти надежную ссылку (кроме ответов, утверждающих, что это UB, но без какой-либо поддержки со стороны стандарта).

Так это неопределенное поведение?