Complemento simultáneo en HashSet no seguro para subprocesos: ¿qué es lo peor que podría suceder?

Situación:

Varios subprocesos solo agregan valores a un subproceso no segurojava.util.HashSet y no se realiza ninguna otra operación en elSet hasta que estos hilos hayan sido detenidos.

Pregunta:

¿Qué es lo peor que podría pasar?