Resultados de la búsqueda a petición "apache-spark"

10 la respuesta

¿Es posible obtener la configuración actual de contexto de chispa en PySpark?

Estoy tratando de encontrar el camino haciaspark.worker.dir para la corrientesparkcontext. Si lo configuro explícitamente como unconfig param, Puedo leerlo de nuevoSparkConf, pero ¿hay alguna forma de acceder al completoconfig (incluidos todos ...

1 la respuesta

Adición de nuevos trabajadores de Spark en AWS EC2: error de acceso

Tengo el clúster de Spark que se lanzó conspark-ec2 guión. Estoy tratando de agregar un nuevo esclavo siguiendo las instrucciones: Detener el clústerEn la consola de AWS "inicia más como esto" en uno de los esclavosIniciar el clústerAunque la ...

2 la respuesta

Reemplazar bigrams según su frecuencia en Scala y Spark

Quiero reemplazar todos los bigrams cuyo conteo de frecuencia es mayor que un umbral con este patrón(word1.concat("-").concat(word2)), y he intentado: import org.apache.spark.{SparkConf, SparkContext} object replace { def main(args: ...

2 la respuesta

¿Cómo interactúa Spark con CPython?

Tengo un sistema Akka escrito enscala que necesita llamar a algunosPython código, confiando enPandas yNumpy, así que no puedo usar Jython. Noté que Spark usa CPython en sus nodos de trabajo, por lo que tengo curiosidad por cómo ejecuta el código ...

2 la respuesta

¿Cómo verificar si Spark RDD está en la memoria?

Tengo una instancia de org.apache.spark.rdd.RDD [MyClass]. ¿Cómo puedo verificar mediante programación si la instancia es persistente \ inmemory?

1 la respuesta

excepción en el hilo principal java.lang.exceptionininitializerError Al instalar spark sin hadoop

Estoy tratando de instalar spark2.3.0, más específicamente, es spark-2.3.0-bin-hadoppo2.7 'D: \ spark \ bin' ya está agregado en la variable de entorno PATH. Mientras tanto, JDK-10 está instalado. Hadoop no está instalado. Pero google dice ...

1 la respuesta

Qué es el rango en ALS Algoritmo de aprendizaje automático en Apache Spark Mllib

Quería probar un ejemplo del algoritmo de aprendizaje automático ALS. Y mi código funciona bien, sin embargo, no entiendo el parámetrorank utilizado en algoritmo Tengo el siguiente código en Java // Build the recommendation model using ALS int ...

2 la respuesta

No coinciden los tipos: no se puede convertir desde Iterator <String> en Java Spark

Excepción en el subproceso "main" java.lang.Error: Problema de compilación no resuelto: No coinciden los tipos: no se puede convertir de Iterator a Iterable en com.spark.wordcount.lession1.WordCount2.main (WordCount2.java:26) SparkConf conf = ...

1 la respuesta

¿Cómo saber la cantidad de trabajos y etapas de Spark en la consulta de unión (broadcast)?

Yo uso Spark 2.1.2. Estoy tratando de comprender varias visualizaciones de la pestaña UI de chispa frente a un trabajo. yo suelospark-shell --master local y haciendo lo siguientejoin consulta: val df = Seq( (55, "Canada", -1, "", 0), (77, ...

4 la respuesta

Apache Spark, agregue una columna calculada "CASO CUANDO ... OTRO ..." a un DataFrame existente

Estoy tratando de agregar una columna calculada "CASO CUANDO ... ELSE ..." a un DataFrame existente, usando las API de Scala. Marco de datos inicial: color Red Green BlueMarco de datos deseado (sintaxis SQL: CASO CUANDO color == Verde ENTONCES 1 ...