Resultados de la búsqueda a petición "dask"
¿Cómo cambio las filas y columnas en un marco de datos dask?
Hay algunos problemas que tengo con Dask Dataframes. digamos que tengo un marco de datos con 2 columnas['a','b'] si quiero una nueva columnac = a + b en pandas que haría: df['c'] = df['a'] + df['b']En dask estoy haciendo la misma operación de ...
Python Dask - concatenación vertical de 2 marcos de datos
Tengo el siguiente Dask DataFrame en Python: A B C D E F 0 1 4 8 1 3 5 1 6 6 2 2 0 0 2 9 4 5 0 6 35 3 0 1 7 10 9 4 4 0 7 2 6 1 2Estoy tratando de concatenar 2 Dask DataFrames verticalmente: ddf_i = ddf + 11.5 dd.concat([ddf,ddf_i],axis=0)pero ...
duplicate key value viola una restricción única: error de postgres al intentar crear una tabla sql a partir del marco de datos dask
Siguiendo desdeest [https://stackoverflow.com/questions/54344793/create-sql-table-from-dask-dataframe-using-map-partitions-and-pd-df-to-sql] que, stion, cuando intento crear una tabla postgresql desde un dask.dataframe con más de una partición ...
Incluyendo argumentos de palabras clave (kwargs) en gráficos personalizados de Dask
Am construyo un gráfico personalizado para una operación con Dask. Estoy familiarizado con cómo pasar argumentos a una función en el gráfico Dask y he leído en el docs [http://dask.pydata.org/en/latest/custom-graphs.html]. Sin embargo, todavía ...
¿Cómo paralelizar muchas comparaciones de cadenas (difusas) usando apply en Pandas?
tengo el siguiente problema Tengo un marco de datosMaestroque contiene oraciones, como master Out[8]: original 0 this is a nice sentence 1 this is another one 2 stackoverflow is nicePara cada fila en Master, busco en otro Dataframeesclavopara ...
Flujos de datos persistentes con dask
Estoy interesado en trabajar con flujos de datos distribuidos persistentes con características similares a las del proyecto Pegasus:https://pegasus.isi.edu/ [https://pegasus.isi.edu/]por ejemplo. ¿Crees que hay una manera de hacerlo ...
¿Cómo se transpone un marco de datos dask (convertir columnas en filas) para abordar los principios de datos ordenados
TLDR: Creé un marco de datos dask de una bolsa dask. El marco de datos dask trata cada observación (evento) como una columna. Entonces, en lugar de tener filas de datos para cada evento, tengo una columna para cada evento. El objetivo es ...
Carga del archivo local del cliente en el clúster distribuido dask
Una pregunta un poco para principiantes, pero no pude encontrar una respuesta relevante sobre esto ... Esencialmente, mis datos sobre (7 gb) se encuentran en mi máquina local. He distribuido el clúster que se ejecuta en la red local. ¿Cómo puedo ...
¿Por qué el producto punto en dask es más lento que en numpy?
un producto punto en dask parece correr mucho más lento que en numpy: import numpy as np x_np = np.random.normal(10, 0.1, size=(1000,100)) y_np = x_np.transpose() %timeit x_np.dot(y_np) # 100 loops, best of 3: 7.17 ms per loop import dask.array ...
python-xarray: open_mfdataset concat a lo largo de dos dimensiones
Tengo archivos que están hechos de 10 conjuntos y 35 archivos de tiempo. Uno de estos archivos se ve así: >>> xr.open_dataset('ens1/CCSM4_ens1_07ic_19820701-19820731_NPac_Jul.nc') <xarray.Dataset> Dimensions: (ensemble: 1, latitude: 66, ...
Página 1 de 2