Результаты поиска по запросу "apache-spark"
Spark SQL UDF со сложным входным параметром
Я пытаюсь использовать UDF с типом ввода Массив структуры. У меня есть следующая структура данных, это только соответствующая часть большей структуры
Журнал локальной переменной, определенный во внешней области видимости, должен быть окончательным или фактически окончательным
Я новичок в лямбда и Java8. Я столкнулся со следующей ошибкой.Журнал локальной переменной, определенный во внешней области видимости, должен быть окончательн...
Как Spark читает файл с подчеркиванием начала имени файла?
Когда я использую Spark для разбора файлов журнала, я замечаю, что если первый символ имени файла
Как соединить HBase и Spark с помощью Python?
У меня смущающая параллельная задача, для которой я использую Spark для распространения вычислений. Эти вычисления сделаны на Python, и я использую PySpark д...
ForeachRDD выполняется на драйвере?
Я пытаюсь обработать некоторые данные XML, полученные в очереди JMS (QPID), используя потоковую передачу Spark. После получения XML в качестве DStream я прео...
Перезаписать определенные разделы в методе записи в искровой массив данных
Я хочу перезаписать определенные разделы вместо всех в искре. Я пытаюсь следующую команду:
Есть ли лучший интерфейс для добавления поддержки Highcharts в Zeppelin?
Apache Zeppelin имеет хорошую поддержкуAngularJS, Пока есть разрыв между Scala и Javascript.Я пытаюсь добавитьHighcharts поддержка Zeppelin, чтобы заполнить ...
Spark Stateful Streaming Job зависает на контрольной точке на S3 после длительного времени безотказной работы
Недавно я проводил стресс-тестирование нашего приложения Spark Streaming. Стресс-тестирование потребляет около 20 000 сообщений в секунду с размерами сообщен...
Как узнать, какой фрагмент кода работает на драйвере или исполнителе?
Я новичок в Spark. Как узнать, какой фрагмент кода будет работать на драйвере, а какой - на исполнителях?Всегда ли мы должны пытаться кодировать так, чтобы в...