Cómo poner una vista en paquete

Estoy agregando EditTexts creados dinámicamente a un diseño (método de botón onClick). Cuando giro la pantalla, los textos de edición añadidos desaparecen. ¿Cómo puedo agregarlos a un paquete para ponerlos en el método onSavedInstanceState? ¿O hay otra manera de hacer esto? Sé que puedo guardar el texto, pero ¿hay alguna forma de mantener el diseño de la pantalla cuando lo rote? Si el usuario presiona el botón y agrega cinco EditTexts (con o sin escribir nada), necesito guardar este diseño cuando se gire la pantalla (básicamente necesito probar mi aplicación :)).

¡Gracias por adelantado!