Resultados de la búsqueda a petición "dataframe"
Cómo filtrar el marco de datos de Spark si una columna es miembro de otra columna
Tengo un marco de datos con dos columnas (una cadena y una matriz de cadenas): root |-- user: string (nullable = true) |-- users: array (nullable = true) | |-- element: string (containsNull = true)¿Cómo puedo filtrar el marco de datos para que ...
Usar r para navegar y raspar una página web con formularios html desplegables
Estoy tratando de raspar datos de http://www.footballoutsiders.com/stats/snapcounts [http://www.footballoutsiders.com/stats/snapcounts], pero no puedo cambiar los campos en los cuadros desplegables del sitio ("equipo", "semana", "posición" ...
¿Cómo hacer coincidir múltiples columnas en pandas DataFrame para un "intervalo"?
Tengo los siguientes pandas DataFrame: import pandas as pd df = pd.DataFrame('filename.csv') print(df) order start end value 1 1342 1357 category1 1 1459 1489 category7 1 1572 1601 category23 1 1587 1599 category2 1 1591 1639 category1 .... 15 ...
Dict de relleno con valores de NA para permitir la conversión al marco de datos de pandas
Tengo un dict que contiene valores calculados en diferentes retrasos de tiempo, lo que significa que comienzan en diferentes fechas. Por ejemplo, los datos que tengo pueden tener el siguiente aspecto: Date col1 col2 col3 col4 col5 01-01-15 5 12 ...
Cree un marco de datos en pyspark que contenga una sola columna de tuplas
Tengo un RDD que contiene lo siguiente [('columna 1', valor), ('columna 2', valor), ('columna 3', valor), ..., ('columna 100', valor)]. Quiero crear un marco de datos que contenga una sola columna con tuplas. Lo más cerca que he llegado ...
Trazado de columna de marco de datos - fecha y hora
Tengo una columna de fecha y hora con incrementos de tiempo bastante aleatorios, el formato es: time 2016-07-08 11:29:30 2016-07-08 11:30:02Ahora lo convierto a datetime: df['time2'] = pd.to_datetime(df['time'])Entonces quiero trazarlo ...
cómo convertir una cadena json a un marco de datos en spark
Quiero convertir la variable de cadena a continuación en el marco de datos en spark. val jsonStr = "{ "metadata": { "key": 84896, "value": 54 }}"Sé cómo crear un marco de datos desde un archivo json. sqlContext.read.json("file.json")pero no sé ...
¿Cómo acceder al elemento de una columna VectorUDT en un Spark DataFrame?
Tengo un marco de datosdf con unVectorUDT columna llamadafeatures. ¿Cómo obtengo un elemento de la columna, digamos primer elemento? He intentado hacer lo siguiente from pyspark.sql.functions import udf first_elem_udf = udf(lambda ...
Hacer una matriz de una estructura específica
Tenga en cuenta: no sé dónde me estoy equivocando, pero he pasado todo el día tratando de resolver este problema. Por lo tanto, solicito no descartarlo como una pregunta duplicada y tratar esto como una pregunta muy específica relacionada con la ...
Repita el vector para llenar la columna en el marco de datos
Parece que esta maniobra muy simple solía funcionar para mí, y ahora simplemente no. Una versión ficticia del problema: df <- data.frame(x = 1:5) # create simple dataframe df x 1 1 2 2 3 3 4 4 5 5 df$y <- c(1:5) # adding a new column with a ...