Resultados de la búsqueda a petición "dataframe"
Spark DataFrames: registerTempTable vs not
Ayer empecé con DataFrame y hasta ahora me gusta mucho. Sin embargo, no entiendo una cosa ... (haciendo referencia al ejemplo en "Especificación programática del esquema" ...
Pegue los elementos de dos columnas [duplicar]
Esta pregunta ya tiene una respuesta aquí: Forma rápida / elegante de unir muchos pares de columnas [/questions/28686848/speedy-elegant-way-to-unite-many-pairs-of-columns] 3 respuestasTengo un data.frame del siguiente tipo set.seed(12) d = ...
¿Cómo restablecer cumsum después de un cambio en el signo de los valores?
In [46]: d = np.random.randn(10, 1) * 2 In [47]: df = pd.DataFrame(d.astype(int), columns=['data'])Estoy tratando de crear una columna cumsum donde debería restablecerse después de un cambio de signo en la columna de datos, como este data ...
Requisitos para convertir el marco de datos de Spark en el marco de datos de Pandas / R
Estoy ejecutando Spark en HADOop's YARN. ¿Cómo funciona esta conversión? ¿Se realiza un collect () antes de la conversión? ¿También necesito instalar Python y R en cada nodo esclavo para que la conversión funcione? Estoy luchando por encontrar ...
¿Cómo definir la partición de DataFrame?
Comencé a usar Spark SQL y DataFrames en Spark 1.4.0. Quiero definir un particionador personalizado en DataFrames, en Scala, pero no veo cómo hacerlo. Una de las tablas de datos con las que estoy trabajando contiene una lista de transacciones, ...
Desglosar la columna de la lista en varias filas
Quiero expandir la lista en una determinada columna (en el ejemplo column_x) a varias filas. Entonces df = pd.DataFrame({'column_a': ['a_1', 'a_2'], 'column_b': ['b_1', 'b_2'], 'column_x': [['c_1', 'c_2'], ['d_1', 'd_2']] })será transformado ...
reste dos columnas de Dataframe diferente con python
Tengo dos DataFrames, df1: Lat1 Lon1 tp1 0 34.475000 349.835000 1 1 34.476920 349.862065 0.5 2 34.478833 349.889131 0 3 34.480739 349.916199 3 4 34.482639 349.943268 0 5 34.484532 349.970338 0y df2: Lat2 Lon2 tp2 0 34.475000 349.835000 2 1 ...
Transforme un objeto de contador en un marco de datos de pandas
solíaCounter en una lista para calcular esta variable: final = Counter(event_container)impresión final da: Counter({'fb_view_listing': 76, 'fb_homescreen': 63, 'rt_view_listing': 50, 'rt_home_start_app': 46, 'fb_view_wishlist': 39, ...
Seleccione el índice inverso en pd.
Cómo seleccionar el índice inverso en pd.DataFrame utilizandoloc oiloc? Lo intentédf.loc[!my_index,my_feature] pero fallar Ydf.loc[[ind for ind in df.index.tolist() if ind not in my_index],my_feature] se ve muy aburrido. ¿Alguna mejor idea?
Igualdad de DataFrame en Apache Spark
Asumirdf1 ydf2 son dosDataFrames en Apache Spark, calculado utilizando dos mecanismos diferentes, por ejemplo, Spark SQL frente a la API Scala / Java / Python. ¿Hay alguna forma idiomática de determinar si los dos marcos de datos ...