Suchergebnisse für Anfrage "amazon-kinesis"
put_records () akzeptiert nur Schlüsselwortargumente in Kinesis boto3 Python API
from __future__ import print_function # Python 2/3 compatibility import boto3 import json import decimal #kinesis = boto3.resource('kinesis', region_name='eu-west-1') client = boto3.client('kinesis') with open("questions.json") as json_file: ...
Was ist die Latenz der Streaming-Protokolldaten zwischen AWS- und Google Cloud-Diensten?
at jemand Erfahrung mit: Senden von gestreamten / mikro-gestapelten Protokolldaten von Amazon an BigQuery zur Verarbeitung und Aufklärung von Latenzproblemen?Senden von (Mikro-Batch-) Protokollen von Google DataFlow an Amazon (Kinesis / S3 / ...
Apache Spark Kinesis Sample funktioniert nicht
Ich versuche das @ auszuführ JavaKinesisWordCountASL [https://github.com/apache/spark/blob/master/extras/kinesis-asl/src/main/java/org/apache/spark/examples/streaming/JavaKinesisWordCountASL.java] Beispiel. Das Beispiel scheint eine Verbindung ...
Erwartetes Verhalten für AWS Kinesis ShardIteratorType TRIM_HORIZON
Kontex: Ich beziehe mich nicht unbedingt auf eine KCL-basierte Anwendung, sondern nur auf reine Kinesis-API-Aufrufe. Nimmt die Verwendung desTRIM_HORIZONit dem Iteratortyp @ shard erhalten Sie sofort den frühesten veröffentlichten Datensatz im ...
Anwendungsbericht für application_ (Status: ACCEPTED) endet nie für Spark Submit (mit Spark 1.2.0 auf YARN)
Ich verwende Kinesis plus Spark-Anwendunghttps: //spark.apache.org/docs/1.2.0/streaming-kinesis-integration.htm [https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html] Ich laufe wie folgt Befehl auf ...
Wie kann ich einen AWS-Kinesis-Stream auslagern?
Ich möchte gerne fanout / chain / replizieren eines Eingabe-AWS-Kinesis-Streams an N neue Kinesis-Streams, Damit jeder Datensatz, der in die Eingabe-Kinesis geschrieben wird, in jedem der N Streams erscheint. Ist dort einAWS-Service oder eine ...
Zuverlässigkeitsprobleme mit Checkpointing / WAL in Spark Streaming 1.6.0
Beschreibun Wir haben eine Spark Streaming 1.5.2-Anwendung in Scala, die JSON-Ereignisse aus einem Kinesis Stream liest, einige Transformationen / Aggregationen durchführt und die Ergebnisse in verschiedene S3-Präfixe schreibt. Das aktuelle ...
Call REST API für Amazon Kinesis mit API Gateway einrichten
, Ich versuche, eine HTTP-Post-Anfrage zu senden, um einen Datensatz in Amazon Kinesis Stream zu stellen. Es gibt verschiedene Möglichkeiten (Kinesis Client, KPL, AWS Gateway als Kinesis Proxy einrichten). Ich habe dieses Dokument über die ...
mehrere Verbraucher pro Kinesis-Scherbe
ch habe gelesen, dass Sie mehrere Consumer-Apps pro Kinesis-Stream haben könne http: ...