Tela de rolagem RecyclerView.Adapter.notifyItemMoved (0,1)

Eu tenho um RecyclerView gerenciado por um LinearlayoutManager, se eu trocar o item 1 por 0 e depois chamar mAdapter.notifyItemMoved (0,1), a animação em movimento fará com que a tela role. Como posso evitar isso?