Я создал пример RecyclerView на основеСоздание списков и карточек руководство. Мой адаптер имеет реализацию шаблона только для раздувания макета.

Проблема в плохой прокрутке. Это в RecycleView только с 8 элементами.

В некоторых тестах я проверял, что в Android L такой проблемы не возникает. Но в версии KitKat снижение производительности очевидно.