Espresso: Como testar o SwipeRefreshLayout?

Meu aplicativo recarrega dados quando um deslize para baixo é feito em umSwipeRefreshLayout. Agora, tento testar isso com o Android Test Kit / Espresso da seguinte forma:

onView(withId(R.id.my_refresh_layout)).perform(swipeDown());

Infelizmente, isso falha com

android.support.test.espresso.PerformException: Error performing 'fast swipe'
on view 'with id: my.app.package:id/my_refresh_layout'.
...
Caused by: java.lang.RuntimeException: Action will not be performed because the target view
does not match one or more of the following constraints:
at least 90 percent of the view's area is displayed to the user.
Target view: "SwipeRefreshLayout{id=2131689751, res-name=my_refresh_layout, visibility=VISIBLE,
width=480, height=672, has-focus=false, has-focusable=true, has-window-focus=true,
is-clickable=false, is-enabled=true, is-focused=false, is-focusable=false, is-layout-requested=false, 
is-selected=false, root-is-layout-requested=false, has-input-connection=false, x=0.0, y=0.0,
child-count=2}"

Obviamente, o layout é visível e a passagem manual funciona, mas não tenho certeza se estou fazendo algo errado? O layout abrange a tela inteira, portantodevemos realmente é possível que o Espresso faça alguma ação.

questionAnswers(1)

yourAnswerToTheQuestion