Resultados de la búsqueda a petición "amazon-kinesis"
El informe de aplicación para application_ (estado: ACEPTADO) nunca termina para Spark Submit (con Spark 1.2.0 en YARN)
Estoy ejecutando la aplicación kinesis plus spark https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html [https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html] Estoy corriendo como abajo comando en la instancia ...
Llame a REST API para Amazon Kinesis con Configuración de API Gateway
, Estoy tratando de enviar una solicitud de publicación HTTP para poner un registro en Amazon Kinesis Stream. Hay varias formas (Kinesis Client, KPL, configurando AWS Gateway como Kinesis Proxy). Vi este documento sobre Kinesis PutRecord ...
¿Kafka como offset en Kinesis Stream?
He trabajado un poco con Kafka en el pasado y últimamente hay un requisito para transferir parte de la tubería de datos en AWS Kinesis Stream. Ahora he leído que Kinesis es efectivamente un tenedor de Kafka y comparte muchas similitudes. Sin ...
¿Cómo desplegar una transmisión de kinesis de AWS?
me gustaríadesplegar / encadenar / replicar una transmisión de AWS Kinesis de entrada a N nuevas transmisiones de Kinesis, Para que cada registro escrito en la entrada Kinesis aparezca en cada una de las N secuencias. Hay unServicio de AWS o una ...
Apache Spark Kinesis Sample no funciona
Estoy tratando de ejecutar elJavaKinesisWordCountASL [https://github.com/apache/spark/blob/master/extras/kinesis-asl/src/main/java/org/apache/spark/examples/streaming/JavaKinesisWordCountASL.java] ejemplo. El ejemplo parece conectarse a mi ...
Comportamiento esperado para AWS Kinesis ShardIteratorType TRIM_HORIZON
Contexto: No me refiero necesariamente a una aplicación basada en KCL, solo a llamadas de API Kinesis puras. ¿Usando elTRIM_HORIZON el tipo de iterador de fragmentos le proporciona de inmediato el registro publicado más temprano en la secuencia ...
Evitar la pérdida de datos cuando los consumidores lentos fuerzan la contrapresión en el procesamiento del flujo (chispa, aws)
Soy nuevo en el procesamiento de flujo distribuido (Spark). He leído algunos tutoriales / ejemplos que cubren cómo los resultados de la contrapresión en la desaceleración del productor (s) en respuesta a los consumidores sobrecargados. El ejemplo ...
múltiples consumidores por fragmento de kinesis
Leí que puedes tener múltiples aplicaciones de consumo por transmisión ...
TRIM_HORIZON vs ÚLTIMO
No puedo encontrar en la documentación formal deAWS Kinesis algunaexplícito referencia entreTRIM_HORIZON y el punto de control, y también cualquier referencia entreLATEST y el punto de control. ¿Puedes confirmar mi teoría? TRIM_HORIZON - En ...
put_records () solo acepta argumentos de palabras clave en Kinesis boto3 Python API
from __future__ import print_function # Python 2/3 compatibility import boto3 import json import decimal #kinesis = boto3.resource('kinesis', region_name='eu-west-1') client = boto3.client('kinesis') with open("questions.json") as json_file: ...
Página 1 de 2