Agregar dinámicamente vistas en un RecyclerView solo al elemento actual

Estoy agregando dinámicamente Vistas a mis elementos en unRecyclerView. Estas vistas agregadas solo deberían estar relacionadas con el elemento al que se agregaron, pero tengo un problema cuando me desplazo. Parece elView se recicla y se carga un nuevo elemento, pero las vistas agregadas anteriormente todavía están allí, solo que ahora en el elemento incorrecto.

Supongo que es solo porque elViewHolder se está reutilizando, por lo que los elementos agregados se muestran nuevamente con un elemento nuevo, cuando se cargan.

¿Cómo se resolvería esto?