Resultados de la búsqueda a petición "pyarrow"

2 la respuesta

Lea el archivo Parquet almacenado en S3 con AWS Lambda (Python 3)

Estoy tratando de cargar, procesar y escribir archivos de Parquet en S3 con AWS Lambda. Mi proceso de prueba / implementación es: https://github.com/lambci/docker-lambda [https://github.com/lambci/docker-lambda]como un contenedor para burlarse ...

2 la respuesta

Partición Pyarrow s3fs por marca de tiempo

¿Es posible utilizar un campo de marca de tiempo en elpyarrow tabla para dividir els3fs sistema de archivos por "YYYY/MM/DD/HH"al escribir un archivo de parquet ens3?

1 la respuesta

Aplicar función por grupo en pyspark -pandas_udf (Ningún módulo llamado pyarrow)

Estoy tratando de aplicar una función a cada grupo de un conjunto de datos en pyspark. El primer error que recibí fue Py4JError: An error occurred while calling o62.__getnewargs__. Trace: py4j.Py4JException: Method __getnewargs__([]) does not ...

3 la respuesta

Usando pyarrow, ¿cómo se agrega al archivo de parquet?

¿Cómo se agrega / actualiza a unparquet archivo conpyarrow? import pandas as pd import pyarrow as pa import pyarrow.parquet as pq table2 = pd.DataFrame({'one': [-1, np.nan, 2.5], 'two': ['foo', 'bar', 'baz'], 'three': [True, False, True]}) ...