Resultados de la búsqueda a petición "apache-spark"

3 la respuesta

Spark DataFrame entrega una cadena vacía en OneHotEncoder

Estoy importando un archivo CSV (usando spark-csv) en unDataFrame que tiene vacioString valores. Cuando se aplica elOneHotEncoder, la aplicación se bloquea con errorrequirement failed: Cannot have an empty string for name.. ¿Hay alguna manera de ...

3 la respuesta

Claves primarias con Apache Spark

Tengo una conexión JDBC con Apache Spark y PostgreSQL y quiero insertar algunos datos en mi base de datos. Cuando usoappend modo que necesito especificarid para cadaDataFrame.Row. ¿Hay alguna forma para que Spark cree claves principales?

2 la respuesta

El maestro debe comenzar con hilo, chispa

Recibo este error cuando quiero ejecutar el ejemplo de SparkPi. beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class ...

5 la respuesta

Acceso a HDFS HA desde el trabajo por chispa (error UnknownHostException)

Tengo el clúster Apache Mesos 0.22.1 (3 maestros y 5 esclavos), ejecutando Cloudera HDFS (2.5.0-cdh5.3.1) en la configuración HA y el marco Spark 1.5.1. Cuando intento generar una aplicación de ejemplo compilada de HdfsTest.scala (de fuentes de ...

2 la respuesta

Spark usando imágenes de lectura PySpark

Hola, tengo muchas imágenes (millones más bajos) en las que necesito clasificar. Estoy usando Spark y logré leer todas las imágenes en el formato de(filename1, content1), (filename2, content2) ... en un gran RDD. images = ...

1 la respuesta

Spark - matriz de correlación del archivo de calificaciones

Soy bastante nuevo en Scala y Spark y no puedo crear una matriz de correlación a partir de un archivo de calificaciones. Es similar aesta ...

1 la respuesta

Spark UDF con varargs

¿Es una única opción enumerar todos los argumentos hasta 22 como se muestra en la ...

3 la respuesta

¿Cómo guardar un DataFrame de chispa como csv en el disco?

Por ejemplo, el resultado de esto: df.filter("project = 'en'").select("title","count").groupBy("title").sum() devolvería una matriz. ¿Cómo guardar un DataFrame de chispa como un archivo csv en el disco?

3 la respuesta

biblioteca de errores de compilación de spark sbt

1.2.0-bin-hadoop2.4 y mi versión Scala es2.11.7. Recibo un error, así que no puedo usar sbt. ~/sparksample$ sbtStarting sbt: invoke with -help for other options [info] Set current project to Spark Sample (in build ...

2 la respuesta

Enlace de argumento de cierre de chispa

Estoy trabajando con Apache Spark en Scala. Tengo un problema al intentar manipular un RDD con datos de un segundo RDD. Estoy tratando de pasar el segundo RDD como argumento para que una función se 'asigne' contra el primer RDD, pero ...