Resultados de la búsqueda a petición "sparklyr"
Sparklyr: ¿como centrar una tabla de Spark basada en una columna?
Tengo una mesa Spark: simx x0: num 1.00 2.00 3.00 ... x1: num 2.00 3.00 4.00 ... ... x788: num 2.00 3.00 4.00 ...y un identificador llamadosimX_tbl en el entorno R que está conectado a estesimx mesa. Quiero hacer un centrado para esta tabla, ...
Sparklyr: use group_by y luego concatene cadenas de filas en un grupo
Estoy tratando de usar las funciones group_by () y mutate () en sparklyr para concatenar filas en un grupo. Aquí hay un ejemplo simple que creo que debería funcionar pero no funciona: library(sparkylr) d <- data.frame(id=c("1", "1", "2", "2", ...
Leyendo el gráfico del archivo
Buscando ejecutar un ejemplo GraphX en mi máquina Windows usando Spark-Shell desde la instalación de SparklyR de Hadoop / Spark. Puedo iniciar el shell desde el directorio de instalación aquí ...
SparkR vs sparklyr [cerrado]
¿Alguien tiene una visión general con respecto a las ventajas / desventajas de SparkR vs sparklyr? Google no produce resultados satisfactorios y ambos parecen bastante similares. Al probar ambos, SparkR parece mucho más engorroso, mientras que ...
Sparklyr: ¿cómo explotar una columna de lista en sus propias columnas en la tabla de Spark?
Mi pregunta es similar a la deaquí [https://stackoverflow.com/q/41810015/7913448], pero tengo problemas para implementar la respuesta y no puedo comentar en ese hilo. Entonces, tengo un gran archivo CSV que contiene datos anidados, que contiene ...
División de <dbl [2]> resultado de Sparklyr como objeto de chispa
Tengo un problema al dividir el resultado de mi bosque aleatorio generado por Sparklyr. Estoy usando el siguiente código para generar un modelo, que predice un {0 | 1} valorar y predecir el resultado para un conjunto de validación ...
Sparklyr - Cambiar nombres de columnas en un marco de datos de Spark
df <- data.frame(old1 = LETTERS, old2 = 1) df_tbl <- copy_to(sc,df,"df") df_tbl <- df_tbl %>% dplyr::rename(old1 = new1, old2 = new2)devoluciones: > head(df_tbl) Error: `new1`, `new2` contains unknown variables¿Hay alguna manera fácil de cambiar ...
¿Cómo usar un predicado mientras se lee desde una conexión JDBC?
Por defecto,spark_read_jdbc() lee una tabla de base de datos completa en Spark. He usado la siguiente sintaxis para crear estas conexiones. library(sparklyr) library(dplyr) config <- spark_config() config$`sparklyr.shell.driver-class-path` ...
Calcular eficientemente los totales de fila de un Spark DF ancho
Tengo un amplio marco de datos de chispa de unos pocos miles de columnas por aproximadamente un millón de filas, para lo cual me gustaría calcular los totales de las filas. Mi solución hasta ahora está por debajo. Solía:dplyr - suma de múltiples ...
Cómo filtrar en una coincidencia parcial con sparklyr
Soy nuevo en sparklyr (pero estoy familiarizado con spark y pyspark), y tengo una pregunta muy básica. Estoy tratando de filtrar una columna en función de una coincidencia parcial. En dplyr, escribiría mi operación así: businesses %>% ...
Página 1 de 2