Resultados da pesquisa a pedido "amazon-kinesis"
TRIM_HORIZON vs ÚLTIMO
Não consigo encontrar na documentação formal deAWS Kinesis qualquerexplícito referência entreTRIM_HORIZON e o ponto de verificação e também qualquer referência entreLATEST e o ponto de verificação. Você pode confirmar minha teoria: TRIM_HORIZON ...
Como fanout um fluxo de kinesis da AWS?
Eu gostaria defanout / encadear / replicar um fluxo de entrada do AWS Kinesis para N novos fluxos do Kinesis, Para que cada registro gravado no Kinesis de entrada apareça em cada um dos N fluxos. Existe algumServiço da AWS ou uma solução de ...
Comportamento esperado para o AWS Kinesis ShardIteratorType TRIM_HORIZON
Contexto: Não estou necessariamente me referindo a um aplicativo baseado em KCL, apenas chamadas à API do Kinesis. O uso doTRIM_HORIZON O tipo de iterador shard fornece imediatamente o registro mais antigo publicado no fluxo (ou seja, o mais ...
Qual é a latência dos dados do log de streaming entre os serviços em nuvem da AWS e do Google?
Alguém já teve experiência com: O envio de dados de log em fluxo / com lotes em lotes do Amazon para o BigQuery para processar e pode esclarecer qualquer problema de latência?Envio de logs (em lotes) do Google DataFlow para a Amazon (Kinesis / ...
O put_records () aceita apenas argumentos de palavras-chave na API Python do Kinesis boto3
from __future__ import print_function # Python 2/3 compatibility import boto3 import json import decimal #kinesis = boto3.resource('kinesis', region_name='eu-west-1') client = boto3.client('kinesis') with open("questions.json") as json_file: ...
O relatório de aplicativo para application_ (state: ACCEPTED) nunca termina para o Spark Submit (com Spark 1.2.0 no YARN)
Estou executando o aplicativo kinesis plus spark https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html [https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html] Estou correndo como abaixo comando na instância ...
A amostra do Apache Spark Kinesis não está funcionando
Estou tentando executar oJavaKinesisWordCountASL [https://github.com/apache/spark/blob/master/extras/kinesis-asl/src/main/java/org/apache/spark/examples/streaming/JavaKinesisWordCountASL.java] exemplo. O exemplo parece conectar-se ao meu fluxo ...
Problemas de confiabilidade com o Checkpointing / WAL no Spark Streaming 1.6.0
DescriçãoTemos um aplicativo Spark Streaming 1.5.2 no Scala que lê eventos JSON de um Kinesis Stream, faz algumas transformações / agregações e grava os resultados em diferentes prefixos S3. O intervalo atual do lote é de 60 segundos. Temos ...
Como alimentar a saída do fluxo de áudio do fluxo de vídeo do AWS Kinesis para o serviço AWS Transcrib
Como alimentar a saída do fluxo de áudio do serviço AWS Kinesis Video Stream (KVS) para o AWS Transcribe e obter áudio em tempo real para conversão de texto? Ingeri áudio via amazon connect to KVS (Kinesis video stream). Minha preocupação é que ...
Evitando a perda de dados quando consumidores lentos pressionam a contrapressão no processamento do fluxo (spark, aws)
Eu sou novo no processamento de fluxo distribuído (Spark). Eu li alguns tutoriais / exemplos que abordam como a contrapressão resulta no (s) produtor (es) diminuindo a velocidade em resposta a consumidores sobrecarregados. O exemplo clássico dado ...
Página 1 do 2