Результаты поиска по запросу "hive"

1 ответ

, Похоже, проблема в обеих версиях, в 2.2.0 есть более простой обходной путь.

я проблемы со схемой синхронизации таблиц Hive между Spark и Hive в кластере Mapr с Spark 2.1.0 и Hive 2.1.1. Мне нужно попытаться решить эту проблему специально для управляемых таблиц, но проблему можно воспроизвести с помощью неуправляемых / ...

4 ответа

 и фильтровать аэропорт по

исал запрос, чтобы найти 10 самых загруженных аэропортов в США с марта по апрель. Это дает желаемый результат, однако я хочу попытаться оптимизировать его. Есть ли какие-либо специфичные для HiveQL оптимизации, которые можно применить ...

1 ответ

 После исправления эта проблема исчезла.

ыло несколько SO статей оHive/Hadoop Ошибка «Невозможно переместить источник». Многие из них указывают на проблему с разрешениями. Тем не менее, на моем сайте я увидел ту же ошибку, но я совершенно уверен, что это не связано с проблемой ...

ТОП публикаций

2 ответа

Подводя итог, загрузите данные в inpath и укажите кусту, где искать входные файлы, а ключевое слово LOCATION указывает кусту, где сохранять выходные файлы в HDFS.

олагая, что у меня есть эти две таблицы: внешний: create external table emp_feedback ( emp_id int, emp_name string ) LOCATION '/user/hive/warehouse/mydb.db/contacts';внутренний: create table emp_feedback ( emp_id int, emp_name string ) LOAD ...

1 ответ

@vijayinani Тогда используйте настройки картографа для MR. Конфиг для редукторов работает как для Tez, так и для MR.

я запрос Hive, как показано ниже: select a.x as column from table1 a where a.y in (<long comma-separated list of parameters>) union all select b.x as column from table2 b where b.y in (<long comma-separated list of parameters>)Я ...

1 ответ

К сожалению нет. Мы прекратили использовать Hive, но вместо этого использовали таблицу HBase, к которой можно быстро получить доступ через первичный индекс, а также добавили слой Phoenix для удобства SQL, создав представления для существующих таблиц.

я есть одна, но огромная таблица в улье, которая почти всегда будет запрашиваться с помощью столбца первичного ключа (скажем,employee_id). Таблица будет очень большой, миллионы строк вставляются каждый день, и я хочу быстро выполнять запросы, ...

1 ответ

 пожалуйста, посмотрите. извините за путаницу

ользую Hive Metastore в EMR. Я могу запросить таблицу вручную через HiveSQL. Но когда я использую ту же таблицу в Spark Job, он говоритВходной путь не существует: s3: // Вызывается: org.apache.hadoop.mapred.InvalidInputException: Входной путь ...

1 ответ

 определить ключи для разделения данных.

я есть пакетное задание, которое выполняется ежечасно. Каждый прогон генерирует и сохраняет новые данные вS3 с шаблоном именования каталоговDATA/YEAR=?/MONTH=?/DATE=?/datafile. После загрузки данных вS3Я хочу исследовать их, используяAthena, ...

2 ответа

@shrewquest - Обновлен ответ методом 2, который не требует изменений в ваших данных. надеюсь это поможет!

аюсь импортировать данные в следующем формате в таблицу кустов [ { "identifier" : "id#1", "dataA" : "dataA#1" }, { "identifier" : "id#2", "dataA" : "dataA#2" } ]У меня есть несколько таких файлов, и я хочу, чтобы каждый {} формировал одну строку ...

1 ответ

 в

я выполняю следующий запрос, я получаю только один файл, хотя у меня есть 8 картографов и 0 редукторов. create table table_2 as select * from table_1.Вызывается 8 картографов, и фаза редуктора отсутствует. В таблице table_2 находится только ...