Resultados de la búsqueda a petición "sparklyr"
Sparklyr: use group_by y luego concatene cadenas de filas en un grupo
Estoy tratando de usar las funciones group_by () y mutate () en sparklyr para concatenar filas en un grupo. Aquí hay un ejemplo simple que creo que debería funcionar pero no funciona: library(sparkylr) d <- data.frame(id=c("1", "1", "2", "2", ...
Sparklyr: ¿cómo explotar una columna de lista en sus propias columnas en la tabla de Spark?
Mi pregunta es similar a la deaquí [https://stackoverflow.com/q/41810015/7913448], pero tengo problemas para implementar la respuesta y no puedo comentar en ese hilo. Entonces, tengo un gran archivo CSV que contiene datos anidados, que contiene ...
Sparklyr: ¿como centrar una tabla de Spark basada en una columna?
Tengo una mesa Spark: simx x0: num 1.00 2.00 3.00 ... x1: num 2.00 3.00 4.00 ... ... x788: num 2.00 3.00 4.00 ...y un identificador llamadosimX_tbl en el entorno R que está conectado a estesimx mesa. Quiero hacer un centrado para esta tabla, ...
sparklyr escribe datos en hdfs o colmena
Intenté usar sparklyr para escribir datos en hdfs o hive, pero no pude encontrar una manera. ¿Es posible incluso escribir un marco de datos R en hdfs o colmena usando sparklyr? Tenga en cuenta que mi R y hadoop se ejecutan en dos ...
Cómo filtrar en una coincidencia parcial con sparklyr
Soy nuevo en sparklyr (pero estoy familiarizado con spark y pyspark), y tengo una pregunta muy básica. Estoy tratando de filtrar una columna en función de una coincidencia parcial. En dplyr, escribiría mi operación así: businesses %>% ...
Calcular eficientemente los totales de fila de un Spark DF ancho
Tengo un amplio marco de datos de chispa de unos pocos miles de columnas por aproximadamente un millón de filas, para lo cual me gustaría calcular los totales de las filas. Mi solución hasta ahora está por debajo. Solía:dplyr - suma de múltiples ...
¿Cómo convertir una marca de tiempo en cadena (sin cambiar la zona horaria)?
Tengo algunas veces unix que convierto en marcas de tiempo ensparklyr y por alguna razón también necesito convertirlos en cadenas. Desafortunadamente, parece que durante la conversión a cadenahive se convierte a EST (mi localidad). df_new <- ...
cuenta el número de elementos únicos en cada columna con dplyr en sparklyr
Estoy tratando de contar el número de elementos únicos en cada columna en el conjunto de datos de chispa. Sin embargo, parece que la chispa no reconoce la ...
R: ¿Cómo puedo extraer un elemento de una columna de datos en la conexión de chispa (sparklyr) en la tubería
Tengo un conjunto de datos como se muestra a continuación. Debido a su gran cantidad de datos, lo cargué a través desparklyr package, así que solo puedo usar declaraciones de canalización. pos <- str_sub(csj$helpful,2) neg1 <- ...
¿Cómo aplanar los datos de diferentes tipos de datos utilizando el paquete Sparklyr?
Introducció l código @R se escribe utilizando el paquete Sparklyr para crear un esquema de base de datos. @ [Se proporciona código reproducible y base de datos] Resultado existente root |-- contributors : string |-- created_at : string |-- ...
Página 2 de 2