Результаты поиска по запросу "spark-streaming"
, Мало того, что в новой потоковой архитектуре Spark, называемой «структурированной потоковой передачей», состояние встроено в конвейер и в основном абстрагировано от пользователя, чтобы иметь возможность выставлять операторы агрегирования, такие как
e Spark [https://people.csail.mit.edu/matei/papers/2013/sosp_spark_streaming.pdf] хвастается тем, что его операторы (узлы) "не сохраняют состояния". Это позволяет архитектуре Spark использовать более простые протоколы для таких вещей, ...
Вам понадобятся классы потокового воспроизведения во время выполнения, не так ли? Но это не может быть плохой идеей, потому что, возможно, ваш дистрибутив Hadoop предоставит эти двоичные файлы, поэтому вам не нужно упаковывать их в свой собственный jar.
исал простой поток kafka с использованием Scala. Это хорошо работает на местном. Я взял толстую банку и отправил в кластер скала. Я получаю класс не найдена ошибка после отправки задания. если я достану банку с жиром, она будет зависеть от этой ...
не может быть преобразован в
ли конвертировать потоковоеo.a.s.sql.Dataset вDStream? Если так, то как? Я знаю, как преобразовать его в RDD, но это в контексте потоковой передачи.
Я сделал это, вероятно, 5 разными способами для разных проектов, над которыми я работал с различными требованиями. Самый простой способ - смоделировать разрыв между производителем / потребителем (основываясь на показателях того, сколько элементов в очереди / насколько далеко отстает «текущий» в потоке), и отрегулировать поведение либо производителя, либо потребителя на основе значения этого показателя ( автоматически масштабировать потребителей, или производить другой тип или меньше предметов). Если вы можете описать поведение, вы можете смоделировать и кодировать его.
ичок в распределенной потоковой обработке (Spark). Я прочитал некоторые учебные пособия / примеры, в которых рассказывается о том, как обратное давление приводит к замедлению работы производителя (ов) в ответ на перегрузку потребителей. ...
список зависимостей
аюсь запустить простую запись данных в пример ElasticSearch. Тем не менее, я продолжаю получать эту ошибку: EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster is not ...
Большое спасибо за совет, Был еще один проект, где мне нужно добавить это исключение. После этого все заработало.
чение ниже, когда я попытался выполнить модульные тесты для своего кода потоковой передачи искры в окнах SBT, используя самое масштабное. sbt testOnly<<ClassName>> * * * * * * 2018-06-18 02:39:00 ОШИБКА Исполнитель: 91 - Исключение в задаче ...
SQL через Spark Streaming
Это код для запуска простых SQL-запросов через Spark Streaming.
обработка логов в реальном времени с использованием Apache Spark Streaming
Я хочу создать систему, в которой я мог бы читать журналы в реальном времени и использовать apache spark для ее обработки. Я сбит с толку, если я должен испо...
Как установить и получить статические переменные от спарк?
У меня есть класс как это: