Kann nicht in einer ListView in einem swipeRefreshLayout scrollen

Ich habe ein Problem mit dem SwipeRefreshLayout. Ich habe eine Listenansicht innerhalb des Layouts und jedes Mal, wenn ich in der Listenansicht nach oben scrolle, wird das Streichen zum Aktualisieren des Layouts ausgelöst und Sie können nie wieder zum oberen Rand des Layouts scrollen. Hat jemand irgendwelche Ideen?