Создать таблицу MySQL непосредственно из файла CSV, используя механизм хранения CSV?

Я только что узнал, что у Mysql есть NativeCSV хранилище который хранит данные в файле значений, разделенных запятыми, для каждой таблицы.

Можно ли создать таблицу непосредственно из загруженного файла CSV, например:

СОЗДАТЬ ТАБЛИЦУ ПОЛЬЗОВАТЕЛЕЙ <PATH / USERS.CSV

где users.csv загружается пользователем?

 wisefish03 апр. 2012 г., 19:57
Не совсем ответ, но вы можете ссылаться на ЗАГРУЗИТЬ ДАННЫЕ В ИНФИЛЕdev.mysql.com/doc/refman/5.1/en/load-data.html текстовый файл, для которого напоминает структурированный файл CSV.
 s1x18 авг. 2017 г., 15:29
Вы можете использовать этот инструмент (csv-schema.surge.sh) для преобразования CSV в CREATE TABLE (со схемой). Он пытается угадать типы полей (довольно хорошо).
 Shiplu Mokaddim03 апр. 2012 г., 20:24
Смотрите мое обновление в ответе

Ответы на вопрос(12)

ить, что в SQL Pro есть опция импорта CSV, которая работает довольно хорошо и гибка - вы можете изменять имена столбцов и типы полей при импорте. Выберите новую таблицу, иначе начальный диалог может показаться несколько удручающим.

SQL Pro:http://www.sequelpro.com Sequel Pro - приложение для управления базами данных для работы с базами данных MySQL

 Matthew Poer19 июн. 2018 г., 15:41
Только что обнаружил, что MySQL Workbench также может это делать, но да, в течение многих лет Sequel Pro был популярным только потому, что так хорошо обрабатывал CSV-> Table.

который делает именно это.

Вы можете скачать это здесь:http://commandline.dk/csv2ddl.htm

Использование:

C:\Temp>csv2ddl.exe mysql test.csv test.sql

Или же

C:\Temp>csv2ddl.exe mysql advanced doublequote comma test.csv test.sql
 Verakso12 нояб. 2015 г., 14:40
Теперь это выглядело здорово, для нас, бедных пользователей Windows. К сожалению ссылка больше не работает; (

где находится импорт данных. Workbench позволяет пользователю создавать новую таблицу из файла в формате CSV или JSON. Он обрабатывает схему таблиц и импорт данных всего за несколько кликов в мастере.

В MySQL Workbench используйте контекстное меню в списке таблиц и нажмитеTable Data Import Wizard.

Больше из MySQL Workbench6.5.1 Мастер экспорта и импорта табличных данных документация.Загрузите MySQL Workbench здесь.

 Fred Andrews12 дек. 2018 г., 21:03
Возможно, потому, что это более новое дополнение к MySQL Workbench, но это гораздо более простой и понятный подход, чем все предыдущие решения.
 jkalden12 янв. 2017 г., 12:54
Пожалуйста, не просто дайте ссылку, а опишите, как решить проблему! Посмотри пожалуйстакак ответить

что это немного устарело как тема, но есть более простой способ - ЕСЛИ - вы используете phpmyadmin в качестве своей клиентской части mysql.

1) Создать базу данных с настройками по умолчанию.

2) Выберите базу данных.

3) Нажмите «Импорт» в верхней части экрана.

4) Выберите CSV в разделе «Формат».

5) Выберите параметры, соответствующие вашему CSV-файлу (откройте файл CSV в текстовом редакторе и укажите его, чтобы получить «подходящие» параметры).

Если вы все испортите, нет проблем, просто отбросьте базу данных и попробуйте снова.

 dval02 мар. 2016 г., 14:38
Вы должны переименовать таблицу, но это самое простое решение PMA.
 pal4life01 июл. 2014 г., 07:23
В разделе Формат нет возможности выбрать что-либо, кроме CSV.

http://dev.mysql.com/doc/refman/5.6/en/mysql-for-excel.html

Откройте файл CSV в Excel. Вы можете использовать этот плагин для экспорта данных Excel в новую таблицу удаленного или локального сервера MySQL. Он проанализирует ваши данные (от 100 до 1000 строк) и создаст соответствующую схему таблицы.

 zipzit16 авг. 2014 г., 08:27
Ух ты. Этот инструмент просто потрясающий. Мне пришлось создать таблицу с 99 полями и 1100 строками. Этот инструмент провел базовую проверку данных и создал для меня таблицу и все поля. Очень красиво сделано. Мне удалось удаленно подключиться к таблицам GoDaddy MySQL. Примечание: этот инструмент доступен только для операционной системы Windows.

Только что обнаружилcsvkit, который представляет собой набор инструментов командной строки Unix для файлов CSV. Установлено на моем Mac сpip install csvkit и команда была:

 csvsql --dialect mysql --snifflimit 100000 bigdatafile.csv > maketable.sql

В качестве альтернативы вы можете указать строку соединения с БД, и она может загрузить таблицу напрямую.

 laughing_man06 апр. 2016 г., 21:14
Этот инструмент румяный блестящий.
 Marc Johnen18 янв. 2016 г., 13:47
В системах на основе Debian вы можете установить это черезsudo apt-get install python3-csvkit
 Leiksu27 окт. 2016 г., 12:45
Я установил csvkit, запустил команду csvsql, но я получил кодек "acsii", который не может кодировать символы ... ". Я использую Python 2.7, Ubuntu 14.04. Кто-нибудь может помочь? действительно ценится!
 Marc Johnen18 янв. 2016 г., 15:54
Чтобы импортировать csv-файл напрямую в (mysql) db, сделайте что-то вроде этого:csvsql --db mysql://user:[email protected]:3306/dbschema --tables mytable --insert file.csv (вам также нужно будет установить python3-pymysql)
 Anentropic07 авг. 2015 г., 22:40
этот инструмент потрясающий, спасибо! бесплатно, сделано на Python и «просто работает»
 Futur'Fusionneur16 февр. 2017 г., 00:02
только то, что мне нужно Спасибо!

Pandas отлично сработал для меня (csvsql навсегда завис в моем случае). Что-то вроде:

from sqlalchemy import create_engine
import pandas as pd

df = pd.read_csv('/PATH/TO/FILE.csv')
# Optional, set your indexes to get Primary Keys
df = df.set_index(['COL A', 'COL B'])

engine = create_engine('mysql://user:[email protected]/db', echo=False)

df.to_sql(table_name, dwh_engine, index=False)

Кроме того, это не решает часть «использования CSV-движка», которая была частью вопроса, но также может быть полезной

чтобы соответствовать моим потребностям. Кого это интересует:

#!/bin/bash
if [ "$#" -lt 2 ]; then
    if [ "$#" -lt 1 ]; then 
        echo "usage: $0 [path to csv file] <table name> > [sql filename]"
        exit 1
    fi
    TABLENAME=$1
else
    TABLENAME=$2
fi
echo "CREATE TABLE $TABLENAME ( "
FIRSTLINE=$(head -1 $1)
# convert lowercase characters to uppercase
FIRSTLINE=$(echo $FIRSTLINE | tr '[:lower:]' '[:upper:]')
# remove spaces
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/ /_/g')
# add tab char to the beginning of line
FIRSTLINE=$(echo "\t$FIRSTLINE")
# add tabs and newline characters
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/,/,\\n\\t/g')
# add VARCHAR
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/,/ VARCHAR(255),/g')
# print out result
echo -e $FIRSTLINE" VARCHAR(255));"

однако вы можете перезаписать существующий файл таблицы. Но убедитесь, что окончания строк в вашем файле имеют стиль Unix (заканчивающийся только \ n), а не стиль Windows (заканчивающийся \ r \ n), работаете ли вы под окнами или нет.

Решение Вопроса

ть файл данных. Схема не может быть создана с ним. Что вы можете сделать, это проверить, есть ли в вашем файле строка заголовка. В этом случае вы можете создать таблицу, используя эту строку заголовка, но вручную.

Однако есть способ создать оператор создания таблицы с помощью командного файла, как описано вДжон Свапчински в разделе комментариев руководства MySQL.

Написал Джон Swapceinski 5 сентября 2011 5:33 утра.
Создайте таблицу, используя заголовок файла .csv:

#!/bin/sh
# pass in the file name as an argument: ./mktable filename.csv
echo "create table $1 ( "
head -1 $1 | sed -e 's/,/ varchar(255),\n/g'
echo " varchar(255) );"
 Shiplu Mokaddim16 июл. 2014 г., 21:19
Ты прав. Также обратите внимание, что CSV не предоставляет информацию о типе. Так что здесь невозможно использовать тип.
 user168518524 нояб. 2013 г., 06:23
Расширенная версия все еще работаетen.positon.org и простоCTRL+F Msgstr "Импортировать файл CSV в MySQL".
 Alvin31 авг. 2012 г., 08:39
расширенная версия этого сценария была размещена на основе Джона вen.positon.org/post/Import-CSV-file-to-MySQL
 Heisenberg16 июл. 2014 г., 17:18
Правильно ли я считаю, что этот сценарий создает все столбцы какVARCHAR(255)? Если это так, то это не очень полезно.
 Nicholas DiPiazza14 мая 2016 г., 21:37
Искал повсюду для этого

Пакет:https://github.com/uzi88/PHP_MySQL_wrapper

$db = new MySQL_wrapper(MySQL_HOST, MySQL_USER, MySQL_PASS, MySQL_DB);
$db->connect(); 

// this sample gets column names from first row of file
//$db->createTableFromCSV('test_files/countrylist.csv', 'csv_to_table_test');

// this sample generates column names 
$db->createTableFromCSV('test_files/countrylist1.csv', 'csv_to_table_test_no_column_names', ',', '"', '\\', 0, array(), 'generate', '\r\n');

/** Create table from CSV file and imports CSV data to Table with possibility to update rows while import.
 * @param   string      $file           - CSV File path
 * @param   string      $table          - Table name
 * @param   string      $delimiter      - COLUMNS TERMINATED BY (Default: ',')
 * @param   string      $enclosure      - OPTIONALLY ENCLOSED BY (Default: '"')
 * @param   string      $escape         - ESCAPED BY (Default: '\')
 * @param   integer     $ignore         - Number of ignored rows (Default: 1)
 * @param   array       $update         - If row fields needed to be updated eg date format or increment (SQL format only @FIELD is variable with content of that field in CSV row) $update = array('SOME_DATE' => 'STR_TO_DATE(@SOME_DATE, "%d/%m/%Y")', 'SOME_INCREMENT' => '@SOME_INCREMENT + 1')
 * @param   string      $getColumnsFrom - Get Columns Names from (file or generate) - this is important if there is update while inserting (Default: file)
 * @param   string      $newLine        - New line delimiter (Default: \n)
 * @return  number of inserted rows or false
 */
// function createTableFromCSV($file, $table, $delimiter = ',', $enclosure = '"', $escape = '\\', $ignore = 1, $update = array(), $getColumnsFrom = 'file', $newLine = '\r\n')

$db->close();

Ваш ответ на вопрос