Resultados de la búsqueda a petición "apache-spark"
Ningún módulo llamado 'recurso' instalando Apache Spark en Windows
Estoy tratando de instalar Apache Spark para que se ejecute localmente en mi máquina Windows. He seguido todas las instrucciones ...
Spark No se ha encontrado ningún codificador para java.io.Serializable en Map [String, java.io.Serializable]
Estoy escribiendo un trabajo brillante que el conjunto de datos es bastante flexible, se define comoDataset[Map[String, java.io.Serializable]]. ahora el problema comienza a aparecer, el tiempo de ejecución de la chispa se queja deNo Encoder ...
¿Hay alguna manera de enviar trabajos espía en diferentes servidores que ejecutan master
Tenemos el requisito de programar trabajos de chispa, ya que estamos familiarizados con el flujo de aire apache, queremos seguir adelante para crear diferentes flujos de trabajo. Busqué en la web pero no encontré una guía paso a paso para ...
Producto cartesiano detectado para INNER unirse en columna literal en PySpark
El siguiente código genera la excepción "Producto cartesiano detectado para la unión INNER": first_df = spark.createDataFrame([{"first_id": "1"}, {"first_id": "1"}, {"first_id": "1"}, ]) second_df = spark.createDataFrame([{"some_value": ...
PySpark: ¿Cómo crear un JSON anidado a partir del marco de datos de chispa?
Estoy tratando de crear un json anidado a partir de mi marco de datos de chispa que tiene datos en la siguiente estructura. El siguiente código está creando un json simple con clave y valor. Podrias ayudarme por ...
Pyspark eficiente unirse a
He leído mucho sobre cómo hacer combinaciones eficientes en pyspark. Las formas de lograr uniones eficientes que he encontrado son básicamente: Utilice una unión de transmisión si puede. Normalmente no puedo porque los marcos de datos son ...
pyspark convierte fila a json con nulos
Gol Para un marco de datos con esquema id:string Cold:string Medium:string Hot:string IsNull:string annual_sales_c:string average_check_c:string credit_rating_c:string cuisine_c:string dayparts_c:string ...
Apache Spark y error de Java - Causado por: java.lang.StringIndexOutOfBoundsException: comienzo 0, fin 3, longitud 2
Soy nuevo en el marco de chispa. He intentado crear una aplicación de muestra usando spark y java. Tengo el siguiente códig Pom.xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> ...
Insertar Json en Hbase como JSON - Scala
Me gustaría insertar un objeto json en una escala de uso de celdas Hbase, actualmente puedo insertar valores utilizando el código siguiente, pero me gustaría saber cómo puedo insertar todo el objeto Json en una celda Hbase. import ...
¿Cómo encontrar elementos comunes entre dos columnas de matriz?
Tengo dos columnas de cadena separadas por comas sourceAuthors ytargetAuthors). val df = Seq( ("Author1,Author2,Author3","Author2,Author3,Author1") ).toDF("source","target") Me gustaría agregar otra columnanCommonAuthors con el número de ...