Resultados de la búsqueda a petición "amazon-s3"
pyspark selecciona un subconjunto de archivos usando regex / glob de s3
Tengo un número de archivos cada uno segregado por fecha(date=yyyymmdd) en amazon s3. Los archivos se remontan a 6 meses, pero me gustaría restringir mi script para que solo use los últimos 3 meses de datos. No estoy seguro de si podré usar ...
Múltiples orígenes de Cloudfront con redirección de ruta de comportamiento
Tengo dos cubos S3 que sirven como mis servidores de origen de Cloudfront: example-bucket-1 example-bucket-2El contenido de ambos cubos vive en la raíz de esos cubos. Estoy tratando de configurar mi distribución de Cloudfront para enrutar o ...
Apache Drill: tabla no encontrada en el cubo s3
Soy un novato con Apache Drill. El escenario es este: Tengo un depósito S3, donde coloco mi archivo csv llamado test.csv. Instalé Apache Drill con instrucciones del sitio web oficial. Seguí este ...
Seahorse :: Cliente :: NetworkingError Carga de archivos de Amazon S3 con rieles
En mi aplicación rails 4, estoy tratando de descargar y luego cargar un archivo png normal a mi bucket s3 usando aws-sdk (usandogem 'aws-sdk', '~> 2') En el entorno de desarrollo, el código funciona totalmente bien. Pero si lo intentorails s -e ...
Boto3 para descargar todos los archivos de un S3 Bucket
Estoy usando boto3 para obtener archivos del cubo s3. Necesito una funcionalidad similar comoaws s3 sync Mi código actual es #!/usr/bin/python import boto3 s3=boto3.client('s3') list=s3.list_objects(Bucket='my_bucket_name')['Contents'] for key ...
¿Apache spark puede funcionar sin hadoop?
¿Hay alguna dependencia entreChispa - chispearyHadoop? Si no, ¿hay alguna característica que extrañaré cuando corro?Chispa - chispear sinHadoop?
AWS Java SDK: la autenticación de AWS requiere una fecha válida o un encabezado x-amz-date
Obteniendo la siguiente excepción al usar AWS SDK para Java y Java 1.8u60 +. com.amazonaws.services.s3.model.AmazonS3Exception: AWS authentication requires a valid Date or x-amz-date header (Service: Amazon S3; Status Code: 403; Error Code: ...
Conéctese a los datos S3 de PySpark
Estoy tratando de leer un archivo JSON, de Amazon s3, para crear un contexto de chispa y usarlo para procesar los datos. Spark está básicamente en un contenedor acoplable. Por lo tanto, poner archivos en la ruta del acoplador también es PITA. ...
Obtenga un objeto de S3 en la función AWS Lambda y envíelo a Api Gateway
Estoy tratando de obtener un archivo .jpg de un cubo y enviarlo de nuevo a la puerta de enlace de la API. Creo que tengo la configuración correcta ya que veo cosas que se registran. Toma el archivo de s3 bien, y gm es la ...
¿Es posible subir a S3 simplemente proporcionando una URL? [cerrado]
Claramente, ¿es eso posible sin tener que leer el recurso remoto en un servidor local y luego PONERLO en los servidores de S3? Entonces, en cierto sentido, en lugar de la transmisión se ve así: S3<--(PUT DATA)--LOCAL<--(REQUEST ...