¿Cómo itero y modifico los conjuntos de Java?

Digamos que tengo un conjunto de enteros y quiero incrementar cada entero en el conjunto. ¿Cómo haría esto?

¿Permití agregar y eliminar elementos del conjunto mientras lo iteraba?

¿Debería crear un nuevo conjunto en el que "copiaría y modificaría" los elementos, mientras estoy iterando el conjunto original?

EDIT: ¿Qué pasa si los elementos del conjunto son inmutables?