Результаты поиска по запросу "spark-streaming"
google.com/...
лаем потоковую передачу данных Кафки, которые собираются из MySQL. Теперь, когда вся аналитика сделана, я хочу сохранить свои данные прямо в Hbase. Я пролистал документ с потоковой структурой искры, но не смог найти ни одного приемника с Hbase. ...
добавление выдержек из документации API:
ел бы лучше понять модель согласованности структурированной потоковой передачи Spark 2.2 в следующем случае: один источник (Kinesis)2 запроса от этого источника к двум различным приемникам: один приемник файлов для целей архивирования (S3) и ...
http://spark.apache.org/docs/latest/rdd-programming-guide.html#rdd-persistence
оложим, у нас есть СДР, который используется несколько раз. Поэтому, чтобы снова и снова сохранять вычисления, мы сохранили этот RDD, используя метод rdd.persist (). Поэтому, когда мы сохраняем этот RDD, узлы, вычисляющие RDD, будут хранить ...
и извлечь:
чномstructured_kafka_wordcount.py [https://gist.github.com/hrchu/2b2590f2f737ef430ac32b7f8edc15c0]код, Когда я делю строки на словаudf как ниже, my_split = udf(lambda x: x.split(' '), ArrayType(StringType())) words = lines.select( explode( ...
):
я есть метка времени в UTC и ISO8601, но при использовании структурированной потоковой передачи она автоматически конвертируется в местное время. Есть ли способ остановить это преобразование? Я хотел бы иметь это в UTC. Я читаю данные JSON от ...
, Мало того, что в новой потоковой архитектуре Spark, называемой «структурированной потоковой передачей», состояние встроено в конвейер и в основном абстрагировано от пользователя, чтобы иметь возможность выставлять операторы агрегирования, такие как
e Spark [https://people.csail.mit.edu/matei/papers/2013/sosp_spark_streaming.pdf] хвастается тем, что его операторы (узлы) "не сохраняют состояния". Это позволяет архитектуре Spark использовать более простые протоколы для таких вещей, ...
Вам понадобятся классы потокового воспроизведения во время выполнения, не так ли? Но это не может быть плохой идеей, потому что, возможно, ваш дистрибутив Hadoop предоставит эти двоичные файлы, поэтому вам не нужно упаковывать их в свой собственный jar.
исал простой поток kafka с использованием Scala. Это хорошо работает на местном. Я взял толстую банку и отправил в кластер скала. Я получаю класс не найдена ошибка после отправки задания. если я достану банку с жиром, она будет зависеть от этой ...
не может быть преобразован в
ли конвертировать потоковоеo.a.s.sql.Dataset вDStream? Если так, то как? Я знаю, как преобразовать его в RDD, но это в контексте потоковой передачи.
Я сделал это, вероятно, 5 разными способами для разных проектов, над которыми я работал с различными требованиями. Самый простой способ - смоделировать разрыв между производителем / потребителем (основываясь на показателях того, сколько элементов в очереди / насколько далеко отстает «текущий» в потоке), и отрегулировать поведение либо производителя, либо потребителя на основе значения этого показателя ( автоматически масштабировать потребителей, или производить другой тип или меньше предметов). Если вы можете описать поведение, вы можете смоделировать и кодировать его.
ичок в распределенной потоковой обработке (Spark). Я прочитал некоторые учебные пособия / примеры, в которых рассказывается о том, как обратное давление приводит к замедлению работы производителя (ов) в ответ на перегрузку потребителей. ...
список зависимостей
аюсь запустить простую запись данных в пример ElasticSearch. Тем не менее, я продолжаю получать эту ошибку: EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster is not ...