Результаты поиска по запросу "amazon-kinesis"
несколько потребителей на осколок кинезиса
Я читал, у вас может быть несколько потребительских приложений для каждого потока кинезиса.http://docs.aws.amazon.com/kinesis/latest/dev/developing-consumers...
Какова задержка данных потокового журнала между облачными сервисами AWS и Google?
Кто-нибудь имел опыт работы с:Отправка потоковых / микропакетированных данных журнала из Amazon в BigQuery для обработки и может пролить свет на любую пробле...
между последней контрольной точкой и сейчас).
могу найти в формальной документацииAWS Kinesis Любыеявныйссылка междуTRIM_HORIZON и контрольно-пропускной пункт, а также любые ссылки междуLATEST и контрольно-пропускной пункт. Можете ли вы подтвердить мою теорию: TRIM_HORIZON - Если имя ...
Я сделал это, вероятно, 5 разными способами для разных проектов, над которыми я работал с различными требованиями. Самый простой способ - смоделировать разрыв между производителем / потребителем (основываясь на показателях того, сколько элементов в очереди / насколько далеко отстает «текущий» в потоке), и отрегулировать поведение либо производителя, либо потребителя на основе значения этого показателя ( автоматически масштабировать потребителей, или производить другой тип или меньше предметов). Если вы можете описать поведение, вы можете смоделировать и кодировать его.
ичок в распределенной потоковой обработке (Spark). Я прочитал некоторые учебные пособия / примеры, в которых рассказывается о том, как обратное давление приводит к замедлению работы производителя (ов) в ответ на перегрузку потребителей. ...
Проблемы с надежностью Checkpointing / WAL в Spark Streaming 1.6.0
ОписаниеУ нас есть приложение Spark Streaming 1.5.2 в Scala, которое считывает события JSON из потока Kinesis, выполняет некоторые преобразования / агрегации...
Ожидаемое поведение для AWS Kinesis ShardIteratorType TRIM_HORIZON
контекстЯ не обязательно имею в виду приложение на основе KCL, просто вызовы чистого API Kinesis.Использует ли
Страница 1 из 2