Resultados de la búsqueda a petición "dataframe"
Definición del esquema DataFrame para una tabla con 1500 columnas en Spark
Tengo una tabla con alrededor de 1500 columnas en SQL Server. Necesito leer los datos de esta tabla y luego convertirlos al formato de tipo de datos adecuado y luego insertar los registros en Oracle DB. ¿Cuál es la mejor manera de definir el ...
Diferencia entre === null y isNull en Spark DataDrame
Estoy un poco confundido con la diferencia cuando estamos usando df.filter(col("c1") === null) and df.filter(col("c1").isNull)El mismo marco de datos que obtengo cuenta en === nulo pero cero cuenta en isNull. Por favor, ayúdame a entender la ...
Cómo preservar los nombres de columna al pasar dinámicamente columnas de marco de datos a `agregados`
Con un marco de datos como el siguiente df1 <- data.frame(a=seq(1.1,9.9,1.1), b=seq(0.1,0.9,0.1), c=rev(seq(10.1, 99.9, 11.1)))Quiero agregar colsb yc pora Entonces haría algo como esto aggregate(cbind(b,c) ~ a, data = df1, mean)Esto lo ...
¿Cómo extraigo la fecha / año / mes del marco de datos de pandas?
Estoy tratando de extraer información de año / fecha / mes de la columna 'fecha' en el marco de datos de pandas. Aquí está mi código de muestra: from datetime import datetime def date_split(calendar): for row in calendar: new_calendar={} ...
Crear una nueva columna basada en la verificación de fecha
Tengo dos marcos de datos en Scala: df1 = ID Field1 1 AAA 2 BBB 4 CCCy df2 = PK start_date_time 1 2016-10-11 11:55:23 2 2016-10-12 12:25:00 3 2016-10-12 16:20:00También tengo una variablestart_date con el formatoyyyy-MM-dd igual ...
pandas, aplique múltiples funciones de múltiples columnas para agrupar por objeto
Quiero aplicar múltiples funciones de múltiples columnas a un objeto groupby que da como resultado un nuevopandas.DataFrame. Sé cómo hacerlo en pasos separados: by_user = lasts.groupby('user') elapsed_days = by_user.apply(lambda ...
Obtener el número actual de particiones de un DataFrame
¿Hay alguna forma de obtener el número actual de particiones de un DataFrame? Verifiqué el DataFrame javadoc (spark 1.6) y no encontré un método para eso, ¿o simplemente me lo perdí? (En el caso de JavaRDD, hay un método getNumPartitions ()).
pandas concat genera valores nan
Tengo curiosidad por qué una simple concatenación de dos marcos de datos en pandas: shape: (66441, 1) dtypes: prediction int64 dtype: object isnull().sum(): prediction 0 dtype: int64 shape: (66441, 1) CUSTOMER_ID int64 dtype: ...
trama de datos construida iterativamente en R
Soy relativamente nuevo en R, y me preguntaba la forma más eficiente de construir iterativamente un marco de datos (una fila a la vez, el número de iteraciones "n" y la longitud de cada fila "l" se conocen de antemano). Cree un marco de datos ...
¿Hay una manera simple de cambiar una columna de sí / no a 1/0 en un marco de datos de Pandas?
Leí un archivo csv en un marco de datos de pandas, y me gustaría convertir las columnas con respuestas binarias de cadenas de sí / no a enteros de 1/0. A continuación, muestro una de esas columnas ("sampleDF" es el marco de datos de pandas). In ...