Результаты поиска по запросу "spark-submit"
вариант и все заработало. Это только временное решение, поскольку оно не дает мне изоляцию сети. Сейчас я изучаю докер, чтобы найти правильное решение.
аюсь разместить локально отдельный кластер искры. У меня есть две гетерогенные машины, подключенные к локальной сети. Каждый элемент архитектуры, перечисленный ниже, работает в Docker. У меня есть следующая конфигурация мастер на машине 1 ...
@ cricket_007 Поддерживает ли --files копирование папок произвольной структуры вложенности? Я не мог подтвердить это.
трю, как скопировать папку с файлами зависимостей ресурсов из HDFS в локальный рабочий каталог каждого искрового исполнителя с использованием Java. Сначала я думал об использовании опции --files FILES в spark-submit, но, похоже, она не ...
тогда основной поток будет ждать завершения будущего.
у код для искры в Java. Когда я используюforeachAsync искра не дает и дает мнеjava.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. В этом коде: JavaSparkContext sparkContext = new ...
Как остановить отображение сообщений INFO на спарк-консоли?
Я хотел бы остановить различные сообщения, которые приходят на спарк-оболочку.Я пытался редактировать
Но это не будет писать ни одного файла с расширением CSV. Он создаст папку с part-m-0000n из n разделов вашего набора данных.
ключен к кластеру с помощьюssh и я отправляю программу в кластер используя spark-submit --master yarn myProgram.pyЯ хочу сохранить результат в текстовом файле, и я попытался использовать следующие ...
Добавить баночки в Spark Job - spark-submit
Правда ... это обсуждалось довольно много.Однако есть много двусмысленности и некоторые ответы приведены ... включая дублирование ссылок на jar в конфигураци...