Estou tentando mesclar vários arquivos do Excel usando a opção DataTable.Merge ()

    For Each fileName As String In Directory.GetFiles("C:\TEMP\.", "*.xls")
        Dim connectionString As String = String.Format("Provider=Microsoft.Jet.OLEDB.4.0; data source={0}; Extended Properties=""Excel 8.0;HDR=NO;IMEX=1;""", fileName)
        Dim adapter As New OleDbDataAdapter("SELECT * FROM [Sheet1$]", connectionString)
        Dim ds As New DataSet
        adapter.Fill(ds, "anyNameHere")
        Dim TempTable As DataTable
        TempTable = ds.Tables.Item("anyNameHere")
        table1.Merge(TempTable)
        MsgBox(fileName)
    Next
    DataGridView1.DataSource = table1
    MsgBox(table1.Rows.Count)

Mas dá o seguinte erro ao mesclar

<target>.ColumnName and <source>.ColumnName have conflicting properties: DataType property mismatch.

Isso ocorre porque uma coluna no Excel é lida como texto e outra como o dobro, enquanto ambas têm valores numérico

Para evitar isso, eu também mencionei IMEX = 1 na cadeia de conexão, ainda recebendo este err