Результаты поиска по запросу "spark-streaming"

1 ответ

и извлечь:

чномstructured_kafka_wordcount.py [https://gist.github.com/hrchu/2b2590f2f737ef430ac32b7f8edc15c0]код, Когда я делю строки на словаudf как ниже, my_split = udf(lambda x: x.split(' '), ArrayType(StringType())) words = lines.select( explode( ...

2 ответа

com.fasterxml.jackson.databind.JsonMappingException: версия Джексона слишком старая 2.5.3

Моя ОС - OS X 10.11.6. Я использую Spark 2.0, Zeppelin 0.6, Scala 2.11Когда я запускаю этот код в Zeppelin, я получаю исключение от Джексона. Когда я запуска...

1 ответ

Драйвер потоковой передачи Spark 2.0.0 больше не доступен

ТОП публикаций

2 ответа

Как сохранить / вставить каждый DStream в постоянную таблицу

Я столкнулся с проблемой с «Spark Streaming» о вставке выходного Dstream впостоянный Таблица SQL. Я хотел бы вставить каждый выходной DStream (исходящий из о...

1 ответ

, Мало того, что в новой потоковой архитектуре Spark, называемой «структурированной потоковой передачей», состояние встроено в конвейер и в основном абстрагировано от пользователя, чтобы иметь возможность выставлять операторы агрегирования, такие как

e Spark [https://people.csail.mit.edu/matei/papers/2013/sosp_spark_streaming.pdf] хвастается тем, что его операторы (узлы) "не сохраняют состояния". Это позволяет архитектуре Spark использовать более простые протоколы для таких вещей, ...

2 ответа

Spark: параллельная обработка нескольких тем

2 ответа

Spark Python Авро Кафка Десериализатор

Я создал поток kafka в приложении python spark и могу анализировать любой текст, который проходит через него.

2 ответа

SQL через Spark Streaming

Это код для запуска простых SQL-запросов через Spark Streaming.

1 ответ

Как отфильтровать поток данных с помощью операции преобразования и внешнего RDD?

я использовал

0 ответов

Как использовать Scala и Python в одном проекте Spark?

Это возможно, чтобы трубаSpark RDD в Python?Потому что мне нужна библиотека Python для некоторых вычислений моих данных, но мой основной проект Spark основан...