Загружать данные в Hive с помощью пользовательского разделителя
Я пытаюсь создать внутреннюю (управляемую) таблицу в кусте, которая может хранить мои дополнительные данные журнала. Таблица выглядит так:
CREATE TABLE logs (foo INT, bar STRING, created_date TIMESTAMP)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '<=>'
STORED AS TEXTFILE;
Мне нужно периодически загружать данные в эту таблицу.
LOAD DATA INPATH '/user/foo/data/logs' INTO TABLE logs;
Но данные не вставляются в таблицу должным образом. Может быть какая-то проблема с разделителем. Не могу найти почему.
Пример строки журнала:
120<=>abcdefg<=>2016-01-01 12:14:11
Наselect * from logs;
Я получил,
120 =>abcdefg NULL
Первый атрибут в порядке, второй содержит часть разделителя, но так как это вставляемая строка, а третий будет нулевым, так как он ожидает дату и время.
Может кто-нибудь, пожалуйста, помогите о том, как предоставить пользовательские разделители и успешно загрузить данные.