Результаты поиска по запросу "spark-streaming"
Что означает «потоковая передача» в Apache Spark и Apache Flink?
Как я пошел вApache Spark Streaming На сайте я увидел предложение:Spark Streaming позволяет легко создавать масштабируемые отказоустойчивые потоковые приложе...
Ошибка «Соединение отказано» при запуске Spark Streaming на локальном компьютере
Я знаю, что уже есть много тем, связанных с отказом от потокового соединения. Но большинство из них в Linux или, по крайней мере, указывают на HDFS. Я запуск...
Обработайте Spark Streaming rdd и сохраните в один файл HDFS
Я использую Kafka Spark Streaming для потоковой передачи данных.
Hive Create Multi маленькие файлы для каждой вставки в HDFS
следующее уже достигнутоKafka Producer извлекает данные из твиттера с помощью Spark Streaming.Потребитель Kafka загружает данные в таблицу Hive External (в H...
Удалить искровой фрейм данных из кеша
Я использую Spark 1.3.0 с Python API. Преобразуя огромные кадры данных, я кэширую много DF для более быстрого выполнения;
Будет ли какой-нибудь сценарий, когда Spark RDD не сможет удовлетворить неизменность?
СДР зажигания сконструированы в неизменном, отказоустойчивом и отказоустойчивом виде.Удовлетворяет ли СДР неизменность во всех сценариях? Или есть какой-то с...
Чтение с Кассандры с использованием Spark Streaming
У меня проблема, когда я использую потоковую передачу для чтения с Кассандры.https://github.com/datastax/spark-cassandra-connector/blob/master/doc/8_streamin...
Как использовать Scala и Python в одном проекте Spark?
Это возможно, чтобы трубаSpark RDD в Python?Потому что мне нужна библиотека Python для некоторых вычислений моих данных, но мой основной проект Spark основан...
Spark Streaming на EC2: Исключение в потоке «основной» java.lang.ExceptionInInitializerError
Я пытаюсь запустить spark-submit для файла JAR, который я создал. Когда я запускаю его локально на моей машине, он работает правильно, но при развертывании н...