Результаты поиска по запросу "spark-streaming"
Как сохранить / вставить каждый DStream в постоянную таблицу
Я столкнулся с проблемой с «Spark Streaming» о вставке выходного Dstream впостоянный Таблица SQL. Я хотел бы вставить каждый выходной DStream (исходящий из о...
Как установить и получить статические переменные от спарк?
У меня есть класс как это:
Ограничить размер пакетов Kafka при использовании Spark Streaming
Можно ли ограничить размер пакетов, возвращаемых потребителем Kafka для Spark Streaming?Я спрашиваю, потому что у первой партии, которую я получаю, есть сотн...
Spark DataFrame: поддерживает ли groupBy после orderBy этот порядок?
У меня есть датафрейм Spark 2.0
Остановите потоковый контекст в Spark Streaming через некоторое время
Я создаю приложение, которое получает DStreams из Twitter, и единственный способ остановить контекст потоковой передачи - остановить выполнение. Интересно, е...
Вы проверяли это? Я думаю, что он добавляет новые файлы в каталог / путь
некоторой обработки у меня есть DStream [String, ArrayList [String]], поэтому, когда я записываю его в hdfs, используя saveAsTextFile, и после каждого пакета...
spark-submit: --jars не работает
Я создаю систему метрик для задания Spark Streaming, в системе метрики собираются у каждого исполнителя, поэтому источник метрик (класс, используемый для сбо...
Большое спасибо за совет, Был еще один проект, где мне нужно добавить это исключение. После этого все заработало.
чение ниже, когда я попытался выполнить модульные тесты для своего кода потоковой передачи искры в окнах SBT, используя самое масштабное. sbt testOnly<<ClassName>> * * * * * * 2018-06-18 02:39:00 ОШИБКА Исполнитель: 91 - Исключение в задаче ...
Spark Stateful Streaming Job зависает на контрольной точке на S3 после длительного времени безотказной работы
Недавно я проводил стресс-тестирование нашего приложения Spark Streaming. Стресс-тестирование потребляет около 20 000 сообщений в секунду с размерами сообщен...