Результаты поиска по запросу "apache-kafka"
, Мне даже удалось отфильтровать RDD, присвоить их набору Status и затем выполнить итерацию по этому набору для окончательной обработки.
аюсь получить доступ к коллекции отфильтрованных DStreams, полученных как в решении этого вопроса:Spark Streaming - лучший способ разделения входного потока на основе фильтра ...
github.com/DiUS/pact-jvm/blob/master/pact-jvm-consumer-junit/...
тоящее время я работаю над проектом, в котором у нас есть реализация kafka в микросервисной архитектуре. Удалось ли вам создать контрактные тестовые сценарии для взаимодействия между темами mS и kafka, используя pact-jvm? Моя реализация ...
метод.
у меня есть некоторые данные, которые я передаю в теме Кафки, я беру эти потоковые данные и помещаю их вDataFrame, Я хочу отобразить данные внутри DataFrame: import os from kafka import KafkaProducer from pyspark.sql import ...
Что вы спасете мой день, удивительный ответ, можем ли мы установить customer.auto.offset.reset = как можно раньше для потребителя в kafka connect?
перезапуска задачи-приемника Kafka Connect S3 он возобновил запись с самого начала темы и записал дубликаты старых записей. Другими словами, Kafka Connect, казалось, потерял свое место. Итак, я представляю, что Kafka Connect хранит информацию о ...
для дополнительной информации.
ользовал kafka 0.10.2 и теперь столкнулся с CommitFailedException. любить: Фиксация не может быть завершена, поскольку группа уже перебалансировала и присвоила разделы другому участнику Это означает, что время между последующими вызовами poll () ...
Это зависит от вашего варианта использования, но я бы посоветовал поближе взглянуть на эти параметры.
ботаем на Apache Kafka 0.10.0.x и Spring 3.x и не можем использовать Spring Kafka, поскольку это поддерживается Spring Framework версии 4.x. Поэтому мы используем собственный API Kafka Producer для создания сообщений. Теперь меня беспокоит ...
ссылаясь на такое поведение после обновления до еще более новой версии (1.1.0), поэтому я полагаю, что Кафка по-прежнему страдает от этой неспособности возобновить работу с определенной контрольной точки после перезапуска.
я проблема с Кафкой 0.11.0.0 Когда я создаю новую тему, помещаю в нее исходные данные и использую ее с помощью Java-потребителя, после перезапуска смещения Kafka 0.11.0.0 для моей группы потребителей исчезают. Тема остается, и в ней есть те же ...
Таким образом, в первый раз ISR равен {1,2,3,4}, и если брокер 3 или 4 упадет, он будет исключен из ISR. И случай, который вы упомянули, случится. В случае неудачи с брокером в стойке 1 это будут нечистые выборы лидера.
представила идентификатор стойки, чтобы обеспечить возможности резервирования в случае отказа всей стойки. Существует параметр минимальной синхронизации реплики, чтобы указать минимальное количество реплик, которые должны быть синхронизированы, ...
Поскольку данные поступают не только из одного источника Oracle, существует несколько источников Oracle, которые вставляются в несколько тем.
аюсь использовать соединитель приемника JDBC Kafka Connect для вставки данных в Oracle, но выдает ошибку. Я попытался со всеми возможными конфигурациями схемы. Ниже приведены примеры. Пожалуйста, предложите, если я что-то упустил ниже, мои файлы ...
использование двух или более кластеров Kafka в приложении Kafka Streams является одним из отличий между Kafka Streams и Spark Structured Streaming (поскольку последний может использовать столько кластеров Kafka, сколько вы хотите, и, таким образом, вы можете строить конвейеры между различными кластерами Kafka) ,
оводство разработчика Kafka Streamsэто говорит: [https://docs.confluent.io/current/streams/developer-guide/config-streams.html] Приложения Kafka Streams могут взаимодействовать только с одним кластером Kafka, указанным в этом значении ...