Android SwipeRefreshLayout con TextView vacío no funciona correctamente

Lo que quiero hacer es permitir que el usuario deslice y actualice la lista, no importa si los datos están allí o no. Pero cuando hay datos en la vista de lista, solo esta debe estar visible, y cuando no hay datos, la vista de texto vacía debe estar visible. En ambos casos, el usuario debe poder actualizar la lista deslizando el dedo.

Intenté alguna solución dadaaquí en esta discusión pero ninguno de ellos suena funcionando, la idea de tomar dos SwipeToRefresh funciona bien como se daaquí, pero muestra un contenedor vacío incluso cuando se obtienen datos del servidor.

Lo intenté con mi propia lógica envolviendo Listview y Textview dentro de Relative / FrameLayout pero SwipeToRefresh acepta una vista solo según su comportamiento

Aquí hay un fragmento de XML que he probado

 <android.support.v4.widget.SwipeRefreshLayout
        android:id="@+id/activity_main_swipe_refresh_layout"
        android:layout_width="match_parent"
        android:layout_height="0dp"
        android:layout_weight="0.945" >


        <RelativeLayout
            android:layout_width="match_parent"
            android:layout_height="match_parent" >

            <ListView
                android:id="@+id/event_list_eventlist"
                android:layout_width="match_parent"
                android:layout_height="match_parent"
                android:divider="@color/event_background"
                android:dividerHeight="1dp" >
            </ListView>

            <TextView
                android:id="@+id/event_txt_nothing_found"
                android:layout_width="wrap_content"
                android:layout_height="wrap_content"
                android:layout_centerHorizontal="true"
                android:layout_centerInParent="true"
                android:layout_centerVertical="true"
                android:textAppearance="?android:attr/textAppearanceMedium"
                android:textColor="@android:color/darker_gray"
                android:visibility="gone" />
        </RelativeLayout>
    </android.support.v4.widget.SwipeRefreshLayout>

Por favor ayuda

Respuestas a la pregunta(4)

Su respuesta a la pregunta