Resultados de la búsqueda a petición "apache-spark"
Spark DataFrame entrega una cadena vacía en OneHotEncoder
Estoy importando un archivo CSV (usando spark-csv) en unDataFrame que tiene vacioString valores. Cuando se aplica elOneHotEncoder, la aplicación se bloquea con errorrequirement failed: Cannot have an empty string for name.. ¿Hay alguna manera de ...
Claves primarias con Apache Spark
Tengo una conexión JDBC con Apache Spark y PostgreSQL y quiero insertar algunos datos en mi base de datos. Cuando usoappend modo que necesito especificarid para cadaDataFrame.Row. ¿Hay alguna forma para que Spark cree claves principales?
El maestro debe comenzar con hilo, chispa
Recibo este error cuando quiero ejecutar el ejemplo de SparkPi. beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class ...
Acceso a HDFS HA desde el trabajo por chispa (error UnknownHostException)
Tengo el clúster Apache Mesos 0.22.1 (3 maestros y 5 esclavos), ejecutando Cloudera HDFS (2.5.0-cdh5.3.1) en la configuración HA y el marco Spark 1.5.1. Cuando intento generar una aplicación de ejemplo compilada de HdfsTest.scala (de fuentes de ...
Spark usando imágenes de lectura PySpark
Hola, tengo muchas imágenes (millones más bajos) en las que necesito clasificar. Estoy usando Spark y logré leer todas las imágenes en el formato de(filename1, content1), (filename2, content2) ... en un gran RDD. images = ...
Spark - matriz de correlación del archivo de calificaciones
Soy bastante nuevo en Scala y Spark y no puedo crear una matriz de correlación a partir de un archivo de calificaciones. Es similar aesta ...
Spark UDF con varargs
¿Es una única opción enumerar todos los argumentos hasta 22 como se muestra en la ...
¿Cómo guardar un DataFrame de chispa como csv en el disco?
Por ejemplo, el resultado de esto: df.filter("project = 'en'").select("title","count").groupBy("title").sum() devolvería una matriz. ¿Cómo guardar un DataFrame de chispa como un archivo csv en el disco?
biblioteca de errores de compilación de spark sbt
1.2.0-bin-hadoop2.4 y mi versión Scala es2.11.7. Recibo un error, así que no puedo usar sbt. ~/sparksample$ sbtStarting sbt: invoke with -help for other options [info] Set current project to Spark Sample (in build ...
Enlace de argumento de cierre de chispa
Estoy trabajando con Apache Spark en Scala. Tengo un problema al intentar manipular un RDD con datos de un segundo RDD. Estoy tratando de pasar el segundo RDD como argumento para que una función se 'asigne' contra el primer RDD, pero ...