O padrão ViewHolder melhora a taxa de quadros de rolagem do ListView, como visto no exemplo a seguir:https://developer.android.com/resources/samples/ApiDemos/src/com/example/android/apis/view/List14.html

É possível manter esse padrão ao usar diferentes tipos de visualizações para linhas diferentes?

Em outras palavras, é possível fazer algo como:

 public View getView(int position, View view, ViewGroup parent) {  
     // calculate viewID here
     if (view == null || *view is not null but was created from different XML than viewID* ) { 
         view = mInflater.inflate(viewId, null);