При чтении текстового файла с разделителями-запятыми в C # DataTable столбцы усекаются до 255 символов

Мы импортируем из CSV в SQL. Для этого мы читаем CSV-файл и записываем во временный .txt-файл, используя schema.ini. (Я пока не уверен, почему именно пишем в этот временный файл, но именно так работает код в настоящее время). Оттуда мы загружаем DataTable через OleDB, используя следующую строку подключения (для файлов ASCII).

<code>"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + sPath + ";Extended Properties=\"text;HDR=Yes;FMT=Delimited\"";
</code>

Проблема в том, что поля, содержащие более 255 символов, усекаются. Я читал в Интернете об этой проблеме, и кажется, что по умолчанию текстовые поля усекаются таким образом.

Я установил настройки своего реестраImportMixedTypes=Majority Type а такжеTypeGuessRows=0 вHKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Jet\4.0\Engines\Excel надеясь чтоmycolumns больше не будет интерпретироваться как текст. После этого временный текстовый файл правильно записывается из CSV-файла, но когда я звонюdataAdapter.Fillрезультирующий DataTable по-прежнему имеет усеченное значение.

Here is the column definition in question. CommaDelimited#txt Notes 2 false 234 true 130 0 0

Любая помощь будет оценена. В настоящее время я не заинтересован в использовании какого-либо стороннего кода для решения этой проблемы, должен быть способ использования встроенных инструментов.

Вот определение таблицы:

<code><Columns> 
    <TABLE_NAME>CommaDelimited#txt</TABLE_NAME> 
    <COLUMN_NAME>Notes</COLUMN_NAME> 
    <ORDINAL_POSITION>2</ORDINAL_POSITION> 
    <COLUMN_HASDEFAULT>false</COLUMN_HASDEFAULT> 
    <COLUMN_FLAGS>234</COLUMN_FLAGS> 
    <IS_NULLABLE>true</IS_NULLABLE> 
    <DATA_TYPE>130</DATA_TYPE> 
    <CHARACTER_MAXIMUM_LENGTH>0</CHARACTER_MAXIMUM_LENGTH> 
    <CHARACTER_OCTET_LENGTH>0</CHARACTER_OCTET_LENGTH> 
</Columns>
</code>

Спасибо,

Greg

Я попытался отредактировать schema.ini, указав ширину текста, но это не помогло (раньше было установлено значение memo)

[CommaDelimited.txt] Формат = CSVDelimited DecimalSymbol =. Col1 = Ширина текста заметки 5000

 DOK26 июн. 2009 г., 23:06
Грег. Вам разрешено редактировать свой оригинальный вопрос. Возможно, было бы лучше включить ваш комментарий в исходный вопрос, чтобы он не терялся и не пропускался здесь.
 Marc Gravell♦26 июн. 2009 г., 23:20
"Я не заинтересован в использовании какого-либо стороннего кода для решения этой проблемы". - позор, CsvReader (смешанный с SqlBulkCopy) был бы идеальным ...stackoverflow.com/questions/662179#662198
 Groo26 июн. 2009 г., 23:06
Вы также можете редактировать оригинальный пост.
 Greg Bailey26 июн. 2009 г., 23:04
Еще одна вещь ... вот определение столбца & lt; Columns & gt; & Lt; TABLE_NAME & GT; CommaDelimited # TXT & л; / TABLE_NAME & GT; & Lt; COLUMN_NAME & GT; Примечание & л; / COLUMN_NAME & GT; & Lt; ORDINAL_POSITION & GT; 2 & Lt; / ORDINAL_POSITION & GT; & Lt; & COLUMN_HASDEFAULT GT; ложная & л; / COLUMN_HASDEFAULT & GT; & Lt; & COLUMN_FLAGS GT; 234 & л; / COLUMN_FLAGS & GT; & Lt; IS_NULLABLE & GT; истинно & л; / IS_NULLABLE & GT; & Lt; DATA_TYPE & GT; 130 & л; / DATA_TYPE & GT; & Lt; & CHARACTER_MAXIMUM_LENGTH при 0 & л; / CHARACTER_MAXIMUM_LENGTH & GT; & Lt; & CHARACTER_OCTET_LENGTH при 0 & л; / CHARACTER_OCTET_LENGTH & GT; & Lt; & / Колонны GT;
 Greg Bailey26 июн. 2009 г., 23:59
Спасибо Марк, я посмотрю на это, но потребуется много бюрократизма, чтобы включить 3d-вечеринку dll.

Ответы на вопрос(6)

Вот простой класс для чтения файла с разделителями и возврата DataTable (все строки), который не усекает строки. У него есть перегруженный метод для указания имен столбцов, если они отсутствуют в файле. Может быть, вы можете использовать это?

Импортированные пространства имен

using System;
using System.Text;
using System.Data;
using System.IO;

Код

/// <summary>
/// Simple class for reading delimited text files
/// </summary>
public class DelimitedTextReader
{
    /// <summary>
    /// Read the file and return a DataTable
    /// </summary>
    /// <param name="filename">File to read</param>
    /// <param name="delimiter">Delimiting string</param>
    /// <returns>Populated DataTable</returns>
    public static DataTable ReadFile(string filename, string delimiter)
    {
        return ReadFile(filename, delimiter, null);
    }
    /// <summary>
    /// Read the file and return a DataTable
    /// </summary>
    /// <param name="filename">File to read</param>
    /// <param name="delimiter">Delimiting string</param>
    /// <param name="columnNames">Array of column names</param>
    /// <returns>Populated DataTable</returns>
    public static DataTable ReadFile(string filename, string delimiter, string[] columnNames)
    {
        //  Create the new table
        DataTable data = new DataTable();
        data.Locale = System.Globalization.CultureInfo.CurrentCulture;

        //  Check file
        if (!File.Exists(filename))
            throw new FileNotFoundException("File not found", filename);

        //  Process the file line by line
        string line;
        using (TextReader tr = new StreamReader(filename, Encoding.Default))
        {
            //  If column names were not passed, we'll read them from the file
            if (columnNames == null)
            {
                //  Get the first line
                line = tr.ReadLine();
                if (string.IsNullOrEmpty(line))
                    throw new IOException("Could not read column names from file.");
                columnNames = line.Split(new string[] { delimiter }, StringSplitOptions.RemoveEmptyEntries);
            }

            //  Add the columns to the data table
            foreach (string colName in columnNames)
                data.Columns.Add(colName);

            //  Read the file
            string[] columns;
            while ((line = tr.ReadLine()) != null)
            {
                columns = line.Split(new string[] { delimiter }, StringSplitOptions.None);
                //  Ensure we have the same number of columns
                if (columns.Length != columnNames.Length)
                {
                    string message = "Data row has {0} columns and {1} are defined by column names.";
                    throw new DataException(string.Format(message, columns.Length, columnNames.Length));
                }
                data.Rows.Add(columns);
            }
        }
        return data;

    }
}

Обязательные пространства имен

using System;
using System.Data;
using System.Windows.Forms;
using System.Data.SqlClient;
using System.Diagnostics;

Вот пример вызова и загрузки в базу данных SQL:

        Stopwatch sw = new Stopwatch();
        TimeSpan tsRead;
        TimeSpan tsTrunc;
        TimeSpan tsBcp;
        int rows;
        sw.Start();
        using (DataTable dt = DelimitedTextReader.ReadFile(textBox1.Text, "\t"))
        {
            tsRead = sw.Elapsed;
            sw.Reset();
            rows = dt.Rows.Count;
            string connect = @"Data Source=.;Initial Catalog=MyDB;Integrated Security=SSPI";
            using (SqlConnection cn = new SqlConnection(connect))
            using (SqlCommand cmd = new SqlCommand("TRUNCATE TABLE dbo.UploadTable", cn))
            using (SqlBulkCopy bcp = new SqlBulkCopy(cn))
            {
                cn.Open();
                sw.Start();
                cmd.ExecuteNonQuery();
                tsTrunc = sw.Elapsed;
                sw.Reset();

                sw.Start();
                bcp.DestinationTableName = "dbo.UploadTable";
                bcp.ColumnMappings.Add("Column A", "ColumnA");
                bcp.ColumnMappings.Add("Column D", "ColumnD");
                bcp.WriteToServer(dt);
                tsBcp = sw.Elapsed;
                sw.Reset();
            }
        }

        string message = "File read:\t{0}\r\nTruncate:\t{1}\r\nBcp:\t{2}\r\n\r\nTotal time:\t{3}\r\nTotal rows:\t{4}";
        MessageBox.Show(string.Format(message, tsRead, tsTrunc, tsBcp, tsRead + tsTrunc + tsBcp, rows));
 01 окт. 2012 г., 19:26
Спасибо! очень полезно!
Решение Вопроса

Ядро базы данных Jet усекает поля memo, если вы просите его обработать данные на основе памятки: агрегирование, дедупликация, форматирование и т. Д.

http://allenbrowne.com/ser-63.html

 Greg Bailey30 июн. 2009 г., 20:59
Спасибо Роберт !!! Это привело меня к моему ответу: мы выполняли LTrim и RTrim для оператора выбора sql для этого столбца, что вызывало усечение.

Я думаю, что лучший способ сделать это - использовать CSVReader в следующем блоге: http://ronaldlemmen.blogspot.com/2008/03/stopping-and-continuing-save-event.html

 30 апр. 2010 г., 23:17
Я не вижу CSVReader, упомянутого в цитируемом сообщении. Можете ли вы объяснить, насколько это актуально?

Вы можете исправить это, правильно указав свойSchema.ini файл. Я полагаю, что есть два варианта: установить для столбца тип Memo или установить Width & gt; 255.

 Greg Bailey26 июн. 2009 г., 23:16
schema.ini генерируется динамически, а тип - memo [CommaDelimited.txt] Format = CSVDelimited DecimalSymbol =. Col1 = заметки

Я бы хотел создать DataTable непосредственно при чтении файла CSV, а не проходить дополнительный этап записи данных в другой текстовый файл, только чтобы снова прочитать его в память.

В связи с этим, как вы в конечном итоге получаете данные из DataTable в базу данных SQL? Если вы просто просматриваете DataTable и делаете несколько операторов INSERT, почему бы не пропуститьtwo посредники и вызывают те же операторы INSERT, когда вы вначале читаете файл CSV?

 Greg Bailey27 июн. 2009 г., 00:10
Хорошие вопросы всем. Я не очень знаком с этим кодом, поэтому я пытаюсь выяснить, почему он все это делает. Наши данные очень динамичны, поэтому мы не знаем, что именно мы читаем, что, вероятно, способствует этой потребности в дополнительном оборудовании. Прямо сейчас я не ищу полное переписывание, просто быстрое решение.

У меня была похожая проблема с моим кодом .Net, и я смог заставить его работать, просто изменив настройки реестра на Majortity Type, как упомянуто в оригинальном посте. Что я сделал по-другому в моем случае: Так как мы пытаемся импортировать из CSV, а не из Excel. Поэтому мне пришлось изменить настройки для текста в реестре (не Excel).

Попробуйте сделать это, и я думаю, что это должно работать

Ваш ответ на вопрос