Resultados de la búsqueda a petición "boto"

2 la respuesta

Cómo iniciar y configurar un clúster EMR usando boto

Estoy tratando de iniciar un clúster y ejecutar un trabajo usando boto. Encuentro muchos ejemplos de creación de flujos de trabajo. Pero no puedo por mi vida, encontrar un ejemplo que muestre: Cómo definir el clúster que se utilizará (por ...

1 la respuesta

AWS EMR realiza la secuencia de comandos "bootstrap" en todas las máquinas que ya se ejecutan en el clúster

Tengo un clúster EMR que se ejecuta las 24 horas, los 7 días de la semana. No puedo apagarlo y lanzar el nuevo. Lo que me gustaría hacer es realizar algo como la acción de arranque en el clúster que ya se está ejecutando, preferiblemente usando ...

1 la respuesta

Rendimiento no confiable descargando archivos de S3 con boto y multiprocesamiento.

Quiero descargar miles de archivos desde S3. Para acelerar el proceso probé Pythonmultiprocessing.Pool [https://docs.python.org/2/library/multiprocessing.html], pero el rendimiento es muy poco confiable. A veces funciona y es mucho más rápido que ...

2 la respuesta

¿Cómo obtengo la fecha de creación de la clave S3 con boto?

El objeto S3 Key de Boto contiene la fecha last_modified (que está muy bien disponible a través de parse_ts, ¡gracias @Gaarnat!) Pero la "fecha" base_field (es decir, ctime) no parece ser accesible, a pesar de que aparece ...

7 la respuesta

¿Leer un archivo línea por línea desde S3 usando boto?

Tengo un archivo csv en S3 y estoy tratando de leer la línea del encabezado para obtener el tamaño (nuestros archivos son creados por nuestros usuarios para que puedan tener casi cualquier tamaño). ¿Hay alguna manera de hacer esto usando boto? ...

1 la respuesta

Descargue a S3 con Python usando las credenciales de rol de IAM

En Redshift, ejecuto lo siguiente para descargar datos de una tabla a un archivo en S3: unload('select * from table') to 's3://bucket/unload/file_' iam_role 'arn:aws:iam:<aws-account-id>:role/<role_name>'Me gustaría hacer lo mismo en Python: ...

3 la respuesta

Amazon AWS Cognito y Python Boto3 para establecer la conexión de AWS y cargar el archivo en Bucket

Estoy tratando de usar el servicio de cognito de AWS para autenticar y cargar un archivo. Me han proporcionado mi regionType, identityPool, ID de cuenta de AWS y UnAuthRole. También conozco los nombres de los segmentos de producción ...

6 la respuesta

Cómo guardar un objeto S3 en un archivo usando boto3

Estoy tratando de hacer un "hola mundo" con nuevoboto3 [https://github.com/boto/boto3]cliente para AWS. El caso de uso que tengo es bastante simple: obtener un objeto de S3 y guardarlo en el archivo. En boto 2.X lo haría así: import boto key = ...

4 la respuesta

Hacer un archivo en s3 público usando python y boto

Tengo un enlace delgado a continuación, y cuando intento acceder, aparece un archivo xml que dice "Acceso denegado". Y tengo que ir a la consola de administración de AWS y hacer estopart-0000 archivo público para que pueda acceder. ¿Sabes cómo ...

4 la respuesta

El uso del colectivo de Django con boto S3 arroja "Error 32: Broken Pipe" después de un tiempo

Estoy usando boto con S3 para almacenar los archivos estáticos de mi sitio Django. Cuando use elcollectstatic comando, carga una buena parte de los archivos perfectamente antes de detenerse en un archivo y lanzar"Error 32: Broken Pipe." Cuando ...