Resultados de la búsqueda a petición "apache-spark"
¿Es posible obtener la configuración actual de contexto de chispa en PySpark?
Estoy tratando de encontrar el camino haciaspark.worker.dir para la corrientesparkcontext. Si lo configuro explícitamente como unconfig param, Puedo leerlo de nuevoSparkConf, pero ¿hay alguna forma de acceder al completoconfig (incluidos todos ...
Adición de nuevos trabajadores de Spark en AWS EC2: error de acceso
Tengo el clúster de Spark que se lanzó conspark-ec2 guión. Estoy tratando de agregar un nuevo esclavo siguiendo las instrucciones: Detener el clústerEn la consola de AWS "inicia más como esto" en uno de los esclavosIniciar el clústerAunque la ...
Reemplazar bigrams según su frecuencia en Scala y Spark
Quiero reemplazar todos los bigrams cuyo conteo de frecuencia es mayor que un umbral con este patrón(word1.concat("-").concat(word2)), y he intentado: import org.apache.spark.{SparkConf, SparkContext} object replace { def main(args: ...
¿Cómo interactúa Spark con CPython?
Tengo un sistema Akka escrito enscala que necesita llamar a algunosPython código, confiando enPandas yNumpy, así que no puedo usar Jython. Noté que Spark usa CPython en sus nodos de trabajo, por lo que tengo curiosidad por cómo ejecuta el código ...
¿Cómo verificar si Spark RDD está en la memoria?
Tengo una instancia de org.apache.spark.rdd.RDD [MyClass]. ¿Cómo puedo verificar mediante programación si la instancia es persistente \ inmemory?
excepción en el hilo principal java.lang.exceptionininitializerError Al instalar spark sin hadoop
Estoy tratando de instalar spark2.3.0, más específicamente, es spark-2.3.0-bin-hadoppo2.7 'D: \ spark \ bin' ya está agregado en la variable de entorno PATH. Mientras tanto, JDK-10 está instalado. Hadoop no está instalado. Pero google dice ...
Qué es el rango en ALS Algoritmo de aprendizaje automático en Apache Spark Mllib
Quería probar un ejemplo del algoritmo de aprendizaje automático ALS. Y mi código funciona bien, sin embargo, no entiendo el parámetrorank utilizado en algoritmo Tengo el siguiente código en Java // Build the recommendation model using ALS int ...
No coinciden los tipos: no se puede convertir desde Iterator <String> en Java Spark
Excepción en el subproceso "main" java.lang.Error: Problema de compilación no resuelto: No coinciden los tipos: no se puede convertir de Iterator a Iterable en com.spark.wordcount.lession1.WordCount2.main (WordCount2.java:26) SparkConf conf = ...
¿Cómo saber la cantidad de trabajos y etapas de Spark en la consulta de unión (broadcast)?
Yo uso Spark 2.1.2. Estoy tratando de comprender varias visualizaciones de la pestaña UI de chispa frente a un trabajo. yo suelospark-shell --master local y haciendo lo siguientejoin consulta: val df = Seq( (55, "Canada", -1, "", 0), (77, ...
Apache Spark, agregue una columna calculada "CASO CUANDO ... OTRO ..." a un DataFrame existente
Estoy tratando de agregar una columna calculada "CASO CUANDO ... ELSE ..." a un DataFrame existente, usando las API de Scala. Marco de datos inicial: color Red Green BlueMarco de datos deseado (sintaxis SQL: CASO CUANDO color == Verde ENTONCES 1 ...