Remova o botão giratório de carregamento em SwipeRefreshLayout

Eu uso um SwipeRefreshLayout para recarregar o conteúdo de uma exibição de lista. Funciona e o onRefreshListener é acionado, mas o pequeno botão giratório de carregamento que aparece no swipe não deseja descartar após a conclusão do carregamento. Existe uma maneira de fazê-lo ir?

Editar: SwipeView fixo significa SwipeRefreshLayout

questionAnswers(4)

yourAnswerToTheQuestion