Результаты поиска по запросу "apache-spark-2.0"

6 ответов

Надеюсь, это поможет!

0 ответов

спасибо за любую помощь в решении этой проблемы

аюсь использовать искровое разделение. Я пытался сделать что-то вроде data.write.partitionBy("key").parquet("/location")Проблема здесь в каждом разделе создает огромное количество паркетных файлов, что приводит к медленному чтению, если я ...

1 ответ

Вот и все, вы сделали. Spark теперь должен работать в нескольких ноутбуках Jupyter одновременно.

я есть скрипт, который позволяет мне удобно использовать Spark в блокноте Jupyter. Это замечательно, за исключением случаев, когда я запускаю команды spark в...

ТОП публикаций

3 ответа

Чтение CSV-файлов с полями в кавычках, содержащих запятые

2 ответа

Я попытался распечатать значения ниже: rdd.map (row => row.get (0) .asInstanceOf [WrappedArray [WrappedArray [String]]]. ToSeq.map (x => x.toSeq.foreach (println) ))

2 ответа

Набор данных Spark 2.0 против DataFrame

начиная с spark 2.0.1 у меня возникли вопросы. Я прочитал много документации, но до сих пор не смог найти достаточных ответов:В чем разница между

2 ответа

Как указать sql диалект при создании искровых данных из JDBC?

1 ответ

@mathieu ОК. Ты прав. Это могло бы быть поддержано, это не дизайн. Обратите внимание, что Spark 2.3 поставляется с другим потоковым движком (который может изменить кеширование).

2 ответа

Apache Spark против Apache Spark 2 [закрыто]

Какие улучшения приносит Apache Spark2 по сравнению с Apache Spark?С точки зрения архитектурыС точки зрения примененияили больше

1 ответ

Класс случая Scala, игнорирующий импорт в оболочке Spark