Resultados de la búsqueda a petición "sparklyr"

1 la respuesta

¿Cómo aplanar los datos de diferentes tipos de datos utilizando el paquete Sparklyr?

Introducció l código @R se escribe utilizando el paquete Sparklyr para crear un esquema de base de datos. @ [Se proporciona código reproducible y base de datos] Resultado existente root |-- contributors : string |-- created_at : string |-- ...

1 la respuesta

Sparklyr: ¿cómo explotar una columna de lista en sus propias columnas en la tabla de Spark?

Mi pregunta es similar a la deaquí [https://stackoverflow.com/q/41810015/7913448], pero tengo problemas para implementar la respuesta y no puedo comentar en ese hilo. Entonces, tengo un gran archivo CSV que contiene datos anidados, que contiene ...

2 la respuesta

SparklyR eliminando una tabla del contexto de Spark

Me gustaría eliminar una sola tabla de datos del contexto de Spark ('sc'). Sé que una sola tabla en caché se puede liberar, pero esto no es lo mismo que eliminar un objeto del sc, por lo que puedo reunir. library(sparklyr) library(dplyr) ...

1 la respuesta

Sparklyr: use group_by y luego concatene cadenas de filas en un grupo

Estoy tratando de usar las funciones group_by () y mutate () en sparklyr para concatenar filas en un grupo. Aquí hay un ejemplo simple que creo que debería funcionar pero no funciona: library(sparkylr) d <- data.frame(id=c("1", "1", "2", "2", ...

3 la respuesta

sparklyr escribe datos en hdfs o colmena

Intenté usar sparklyr para escribir datos en hdfs o hive, pero no pude encontrar una manera. ¿Es posible incluso escribir un marco de datos R en hdfs o colmena usando sparklyr? Tenga en cuenta que mi R y hadoop se ejecutan en dos ...

1 la respuesta

Sparklyr: ¿como centrar una tabla de Spark basada en una columna?

Tengo una mesa Spark: simx x0: num 1.00 2.00 3.00 ... x1: num 2.00 3.00 4.00 ... ... x788: num 2.00 3.00 4.00 ...y un identificador llamadosimX_tbl en el entorno R que está conectado a estesimx mesa. Quiero hacer un centrado para esta tabla, ...

1 la respuesta

R Shiny and Spark: ¿cómo liberar recursos de Spark?

Digamos que tenemos unAplicación brillantecual esdesplegado en un servidor brillante. Esperamos que la aplicación sea utilizada por varios usuarios a través de su navegador web, como de costumbre. La aplicación brillanteserver.R incluye ...

1 la respuesta

División de <dbl [2]> resultado de Sparklyr como objeto de chispa

Tengo un problema al dividir el resultado de mi bosque aleatorio generado por Sparklyr. Estoy usando el siguiente código para generar un modelo, que predice un {0 | 1} valorar y predecir el resultado para un conjunto de validación ...

2 la respuesta

Acceda a la tabla en un esquema distinto al predeterminado (base de datos) desde sparklyr

Después de que logré conectarme a nuestro (nuevo) clúster usandosparklyr conyarn-client método, ahora puedo mostrar solo las tablas del esquema predeterminado. ¿Cómo me puedo conectar ascheme.table? UtilizandoDBI está funcionando p. con la ...

2 la respuesta

cuenta el número de elementos únicos en cada columna con dplyr en sparklyr

Estoy tratando de contar el número de elementos únicos en cada columna en el conjunto de datos de chispa. Sin embargo, parece que la chispa no reconoce la ...