Результаты поиска по запросу "apache-spark"

3 ответа

@dnaumenko Возможно не смещение, а общие метаданные источника :)

2.2 представил структурированный потоковый источник Kafka. Как я понимаю, он использует каталог контрольных точек HDFS для хранения смещений и гарантии доставки сообщений «точно один раз». Но старые доки ...

2 ответа

Как добавить типобезопасный конфигурационный файл, который находится на HDFS, для spark-submit (cluster-mode)?

У меня есть приложение Spark (Spark 1.5.2), которое передает данные из Кафки в HDFS. Мое приложение содержит два файла конфигурации Typesafe для настройки оп...

2 ответа

Как я могу сохранить RDD в HDFS и позже прочитать его обратно?

ТОП публикаций

2 ответа

Spark работник не может подключиться к мастеру

0 ответов

и я не вижу никаких записей внутри писателя. Но единственная аномалия в том, что текущая дата - 2018/05/24, но запись, которую я обрабатываю (ts2), имеет старые даты. Будет ли агрегация / подсчет работать в этом сценарии?

аюсь агрегировать количество записей каждые 10 секунд, используя структурированную потоковую передачу для следующих входящих данных Кафки { "ts2" : "2018/05/01 00:02:50.041", "serviceGroupId" : "123", "userId" : "avv-0", "stream" : "", ...

0 ответов

Apache Drill против Spark

2 ответа

исключение анализа ошибок

2 ответа

Возврат RDD с наибольшим значением N из другого RDD в SPARK

Я пытаюсь отфильтровать RDD кортежей, чтобы получить наибольшее N кортежей на основе значений ключей. Мне нужен формат возврата, чтобы быть RDD.Итак, СДР:

3 ответа

Как назначить и использовать заголовки столбцов в Spark?

1 ответ

Это чит-свойство 'ipc.client.fallback-to-simple-auth-разрешено', его также следует перенести в Spark

есть два кластера cloudera 5.7.1, один защищенный с помощью Kerberos, а другой незащищенный.Можно ли запустить Spark с использованием незащищенного кластера ...