Tengo un diseño que consta de una vista de Recycler principal con una vista de Recycler secundaria

Sé que no es bueno poner una lista dentro de otra lista, pero tengo que hacerlo para poder usar las funciones de la sublista como deslizar y arrastrar y soltar

Mi problema es que el Recyclerview secundario se enfoca y evita que el padre se desplace si el punto de contacto estaba en él, simplemente quiero que si el toque fuera vertical en el Recyclerview secundario, el padre se desplaza hacia arriba y hacia abajo y si el toque era horizontal o un clic, entonces el elemento de la lista de Recyclerview secundario se desliza hacia la izquierda y hacia la derecha. ¿Alguna ayuda para lograr esto?