обновить запрос в Spark SQL

Интересно, могу ли я использовать запрос на обновление в sparksql так же, как:

sqlContext.sql("update users set name = '*' where name is null")

Я получил ошибку:

org.apache.spark.sql.AnalysisException: 
Unsupported language features in query:update users set name = '*' where name is null

Если sparksql не поддерживает запрос на обновление или я пишу код неправильно?

 ZMath_lin30 мая 2016 г., 06:07
Я использую spark-1.6.1.
 Ankit Doshi30 мая 2016 г., 05:59
Может быть возможна версия выпуска

Ответы на вопрос(1)

Решение Вопроса

UPDATE заявлений пока нет.

Улей начал поддерживатьUPDATE начиная с версии улья 0.14. Но даже с Hive он поддерживает обновления / удаления только для тех таблиц, которые поддерживаютоперацииупоминается вдокументация улья.

Смотрите ответы на форумах databricks, подтверждающие, чтоОБНОВЛЕНИЯ / УДАЛЕНИЯ не поддерживаются в Spark SQL как этоне поддерживает транзакции, Если мы думаем, что поддержка случайных обновлений очень сложна с большинством форматов хранения больших данных. Это требует сканирования огромных файлов, обновления определенных записей и перезаписи потенциально ТБ данных. Это не нормальный SQL.

 sversch11 апр. 2018 г., 07:53
В проекте Spark есть открытый билет для улучшения поддержки таблиц транзакций Hive (т. Е. Таблиц Hive, которые поддерживают обновления).issues.apache.org/jira/browse/SPARK-15348
 user393742206 сент. 2018 г., 11:07
Есть ли какие-либо новые обновления по этому вопросу, поддерживается ли он сейчас? или любая альтернатива сделать то же самое?

Ваш ответ на вопрос