Результаты поиска по запросу "apache-spark"

2 ответа

Spark SQL UDF со сложным входным параметром

Я пытаюсь использовать UDF с типом ввода Массив структуры. У меня есть следующая структура данных, это только соответствующая часть большей структуры

3 ответа

Журнал локальной переменной, определенный во внешней области видимости, должен быть окончательным или фактически окончательным

Я новичок в лямбда и Java8. Я столкнулся со следующей ошибкой.Журнал локальной переменной, определенный во внешней области видимости, должен быть окончательн...

1 ответ

Как Spark читает файл с подчеркиванием начала имени файла?

Когда я использую Spark для разбора файлов журнала, я замечаю, что если первый символ имени файла

ТОП публикаций

1 ответ

Как соединить HBase и Spark с помощью Python?

У меня смущающая параллельная задача, для которой я использую Spark для распространения вычислений. Эти вычисления сделаны на Python, и я использую PySpark д...

2 ответа

ForeachRDD выполняется на драйвере?

Я пытаюсь обработать некоторые данные XML, полученные в очереди JMS (QPID), используя потоковую передачу Spark. После получения XML в качестве DStream я прео...

1 ответ

java.io.NotSerializableException в потоковой передаче Spark с включенной контрольной точкой

код ниже:

9 ответов

Перезаписать определенные разделы в методе записи в искровой массив данных

Я хочу перезаписать определенные разделы вместо всех в искре. Я пытаюсь следующую команду:

1 ответ

Есть ли лучший интерфейс для добавления поддержки Highcharts в Zeppelin?

Apache Zeppelin имеет хорошую поддержкуAngularJS, Пока есть разрыв между Scala и Javascript.Я пытаюсь добавитьHighcharts поддержка Zeppelin, чтобы заполнить ...

1 ответ

Spark Stateful Streaming Job зависает на контрольной точке на S3 после длительного времени безотказной работы

Недавно я проводил стресс-тестирование нашего приложения Spark Streaming. Стресс-тестирование потребляет около 20 000 сообщений в секунду с размерами сообщен...

2 ответа

Как узнать, какой фрагмент кода работает на драйвере или исполнителе?

Я новичок в Spark. Как узнать, какой фрагмент кода будет работать на драйвере, а какой - на исполнителях?Всегда ли мы должны пытаться кодировать так, чтобы в...