O botão Image selecionado muda sua posição no recyclerView ao rolar

tenho uma reciclagem na minha MainActivity e não estou mostrando nenhum item na listaRecyclerView.Adapter. aqui está o meurecyclerview_list_items.xml Arquivo,

<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="wrap_content"
    android:orientation="vertical"
    android:padding="10dp">

    <ImageView
        android:id="@+id/person_photo"
        android:layout_width="50dp"
        android:layout_height="50dp"
        android:layout_alignParentLeft="true"
        android:layout_alignParentTop="true"
        android:scaleType="centerCrop"
        android:src="@drawable/rounded_img" />

    <TextView
        android:id="@+id/person_name"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_alignParentTop="true"
        android:layout_toLeftOf="@+id/btnfollow"
        android:layout_toRightOf="@+id/person_photo"
        android:ellipsize="end"
        android:paddingLeft="10dp"
        android:paddingRight="4dp"
        android:singleLine="true"
        android:text="*********"
        android:textColor="#303030"
        android:textSize="17sp" />

    <ImageButton
        android:id="@+id/btnfollow"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_alignParentRight="true"
        android:layout_marginRight="8dp"
        android:layout_marginTop="4dp"
        android:background="@drawable/follow_inactive" />

</RelativeLayout>

e aqui está o meu arquivo de classe do adaptador,

public class SuggestionListItemAdapter extends RecyclerView.Adapter<SuggestionListItemAdapter.MyViewHolder> {
    private List<MovieData> moviesList;
    Context context;
    private boolean isButtonClicked = false;
    public class MyViewHolder extends RecyclerView.ViewHolder {
        public TextView  person_name;
        ImageView person_photo;
        ImageButton person_follow;
        public MyViewHolder(View view) {
            super(view);
            person_photo = (ImageView) view.findViewById(R.id.person_photo);
            person_name = (TextView) view.findViewById(R.id.person_name);
            person_follow = (ImageButton) view.findViewById(R.id.btnfollow);
        }
    }
    public SuggestionListItemAdapter(Context mContext,List<MovieData> moviesList) {
        this.moviesList = moviesList;
        this.context=mContext;
    }

    @Override
    public MyViewHolder onCreateViewHolder(ViewGroup parent, int viewType) {
        View v = LayoutInflater.from(parent.getContext())
                .inflate(R.layout.recyclerview_list_items, parent, false);

        MyViewHolder viewHolder = new MyViewHolder(v);

        return viewHolder;
    }

    @Override
    public void onBindViewHolder(MyViewHolder holder, int position) {
        MovieData movieData = moviesList.get(position);

        holder.person_name.setText(movieData.getGenre());
        holder.person_photo.setImageResource(movieData.getPhoto());
        holder.person_follow.setOnClickListener(clickListener);
        holder.person_follow.setTag(holder);
    }

        View.OnClickListener clickListener = new View.OnClickListener() {
            @Override
            public void onClick(View v) {

                if (v.getId() == R.id.btnfollow) {
                    isButtonClicked = !isButtonClicked; // toggle the boolean flag
                    v.setBackgroundResource(isButtonClicked ? R.drawable.following_img : R.drawable.follow_inactive);
                }

            }
        };


    @Override
    public int getItemCount() {
        return moviesList.size();
    }


}

Clicando emholder.person_follow botão de imagem, imagem bg drawable está mudando de acordo com o que eu quero, mas quando estou rolando a página naquele momento imagem bg drawable mudando sua posição automaticamente. por ex. se eu selecionar o botão de imagem pos = 1, depois de rolar a página, a posição do botão selecionado será alterada.

questionAnswers(1)

yourAnswerToTheQuestion